Les robots et ordinateurs parlants de la science-fiction nous habituent à des performances linguistiques très élevées : ils comprennent tout ce qu’on leur dit, ne butent pas sur un concept inconnu et gèrent à merveille les pièges de la communication comme les homonymes et les ambiguïtés. On les voit rarement demander à leur interlocuteur humain de répéter, reformuler ou réexpliquer. L’écart avec les robots réels est flagrant : essayez de dialoguer dix minutes avec Siri, Alexa, Nao ou Pepper ; vous allez vite identifier leurs limites et, probablement, soupçonner que faire parler une machine n’est pas chose aisée. De fait, c’est un véritable enjeu, qui concerne les domaines du traitement automatique des langues et de l’intelligence artificielle. Les recherches se succèdent, les techniques évoluent, les apports de l’apprentissage profond – le fameux deep learning – sont exploités, mais il s’avère encore bien difficile d’atteindre un dialogue aussi fluide et cohérent que le dialogue entre humains. De quoi les machines parlantes sont-elles vraiment capables aujourd’hui ? Comment évaluer leurs progrès ?