On considère généralement que la fonction d'onde macroscopique décrivant un condensat de paires de fermions possède une phase parfaitement définie et immuable. En réalité, il n'existe que des systèmes de taille finie, préparés, qui plus est, à température non nulle ; le condensat possède alors un temps de cohérence fini, même lorsque le système demeure isolé tout au long de son évolution et que le nombre de particules $N$ est fixé. La mémoire de la phase initiale se perd à mesure que le condensat interagit avec les modes excités, qui agissent comme un environnement déphasant. Cet effet fondamental, crucial pour les applications qui exploitent la cohérence macroscopique du condensat de paires, reste très peu étudié. Dans cet article, nous relions le temps de cohérence à la dynamique de phase du condensat, et nous montrons par une approche microscopique que la dérivée de l'opérateur phase du condensat $\hat{\theta}_0$ par rapport au temps est proportionnelle à un opérateur potentiel chimique que nous construisons, et qui inclut les deux branches d'excitations du gaz, tant par brisure des paires que par mise en mouvement de leur centre de masse. Pour une réalisation donnée d'énergie $E$, $\hat{\theta}_0$ évolue aux temps longs comme $-2\mu_{\rm mc}(E)t/\hbar$ où $\mu_{\rm mc}(E)$ est le potentiel chimique microcanonique ; les fluctuations de l'énergie d'une réalisation à l'autre conduisent alors à un brouillage balistique de la phase, et à une décroissance gaussienne de la fonction de cohérence temporelle avec un temps caractéristique $\propto N^{1/2}$. En revanche, en l'absence de fluctuations d'énergie, le temps de cohérence diverge linéairement en $N$ à cause du mouvement diffusif de $\hat{\theta}_0$. Enfin, nous proposons une méthode permettant de mesurer avec un gaz d'atomes froids ce temps de cohérence, que nous prédisons être de l'ordre de la dizaine de millisecondes pour un gaz de fermions préparé dans l'ensemble canonique à la limite unitaire.