Les gaz cohérents d'atomes froids dans des pièges immatériels non dissipatifs sont des exemples uniques de systèmes quantiques macroscopiques isolés. Se pose alors le problème de leur temps de cohérence intrinsèque. Cette question fondamentale présente également un intérêt pratique, pour toutes les applications qui mettent à profit la cohérence macroscopique, par exemple en interférométrie ou en ingénierie quantique où l'on crée des états intriqués non triviaux par évolution cohérente. Des mesures de temps de cohérence sont déjà accessibles avec des gaz de bosons. Les expériences sur les gaz de fermions, qui se sont pour l'instant concentrées sur les propriétés thermodynamiques donc sur les aspects traditionnels du problème à N-corps, commencent à s'intéresser aux mesures de corrélations et de cohérence, ce qui ouvrira un nouveau domaine de recherche, y compris dans le régime d'interaction forte : l'optique quantique fermionique. Cependant, il n'y a à ce jour aucune prédiction sur le temps de cohérence d'un condensat de paires de fermions, sauf à température nulle. Dans cet article nous présentons la première théorie microscopique permettant de combler ce vide théorique en toute généralité. Notre résultat vaut pour d'autres systèmes physiques, tels que les jonctions de Josephson mésoscopiques, pourvu qu'on arrive à réduire suffisamment la décohérence due à l'environnement.