Dans ce papier, nous proposons une méthode de prédiction multi-modale de l'intention basé sur une description probabiliste de primitives de mouvements et de buts. On s'interesse ici à un scénario d'interaction collaborative entre un humain et un robot. Le robot modelise l'action collaborative de manière multi-modale, à l'aide de primitives contenant des informations visuelles (orientation du regard du partenaire) ainsi que des informations sur la dynamique de ses propre bras. Nous montrons dans cette étude que si le partenaire guide le robot en utilisant son regard, le robot reconnait l'action attendu par le partenaire et ce, même dans le cas où les mouvements sont ambigus. Nous montrons aussi qu'en guidant le début du mouvement du robot physiquement , le robot peut même afiner sa trajectoire pour respecter encore mieux la volonté de son partenaire. Finalement, en utilisant les deux modalités, le robot peut utiliser l'information visuelle comme un a-priori sur l'action a effectuer, ce qui permet d'améliorer la reconnaissance de la trajectoire attendue lors d'interaction physique.