Cet article décrit des travaux réalisés dans le cadre du projet IIBM (Interactions Intelligentes à Base de Mouvements). L'objectif de ce projet est d'explorer le champ des interactions homme-machine dites naturelles selon une double perspective : reconnaissance de mouvements et intelligence artificielle. Dans le projet IIBM, nous utilisons le raisonnement à partir de l'expérience tracée pour modéliser les interactions sous forme de traces d'interactions. En nous appuyant sur de solides résultats en capture de mouvements et en exploitant le principe du raisonnement à partir de l'expérience tracée, nous proposons ainsi une approche permettant à l'utilisateur et au système de co-construire des connaissances partagées sur les " façons " d'interagir. Dans cet article, nous décrivons notre approche et nous illustrons sa mise en oeuvre au sein du logiciel d'annotation d'images IIANNOTATE. Nous discutons des premiers résultats obtenus et des pistes de recherche ouvertes par ce travail ainsi que des perspectives d'application dans différents domaines porteurs, tels que celui du jeu vidéo.