Cet article entend faire dialoguer la pensée de Roland Barthes avec celle de Jean-Luc Nancy autour du thème de la communauté. Après avoir tracé un parallèle entre la communauté idiorrythmique de Barthes et la communauté désœuvrée de Nancy, nous montrerons que leur pensée diverge quant à un critère essentiel et définitoire de tout groupement : celui du nombre des membres de la communauté. Enfin, nous souhaiterions prouver que ce qui se donne à lire à travers leur pensée du commun, c’est en fait deux conceptions différentes du retrait du politique : le retrait comme retracement du politique chez Nancy, et le retrait comme recul du politique chez Barthes.