Nous étudions des problèmes statistiques classiques, tels que la détection de communautés dans un graphe, l'analyse en composantes principales, les modèles de mélanges Gaussiens, les modèles linéaires (généralisés ou non), dans un cadre Bayésien. Nous calculons pour ces problèmes le ``risque de Bayes'' qui est la plus petite erreur atteignable par une méthode statistique, dans la limite de grande dimension. Nous observons alors un phénomène surprenant: dans de nombreux cas il existe une valeur critique de l'intensité du bruit au-delà de laquelle il n'est plus possible d'extraire de l'information des données. En dessous de ce seuil, nous comparons la performance d'algorithmes polynomiaux à celle optimale. Dans de nombreuses situations nous observons un écart: bien qu'il soit possible -- en théorie -- d'estimer le signal, aucune méthode algorithmiquement efficace ne parvient à être optimale. Dans ce manuscrit, nous adoptons une approche issue de la physique statistique qui explique ces phénomènes en termes de transitions de phase. Les méthodes et outils que nous utilisons proviennent donc de la physique, plus précisément de l'étude mathématique des verres de spins.