Les systèmes cyber-physiques connectés et ambiants entourent l'utilisateur humain de services plus ou moins complexes, qui doivent être le plus possible adaptés à ses préférences et à la situation courante. Nous proposons de les construire automatiquement et à la volée par composition de services plus élémentaires présents dans l'environnement, sans expression préalable des besoins de l'utilisateur. Pour cela, avec la forte variabilité dynamique de l'environnement ambiant et des besoins, ce dernier doit être sollicité mais a minima. Afin de produire les connaissances nécessaires à la composition automatique et en l'absence de données initiales, nous proposons une solution d'apprentissage en ligne par renforcement à horizon infini qui apprend incrémentalement de et pour l'utilisateur. Elle est décentralisée au sein d'un système multi-agent chargé de l'administration et de la composition des services.