Machine Learning in Interaction: Tool, Material, Culture - Archive ouverte HAL Access content directly
Habilitation À Diriger Des Recherches Year : 2023

Machine Learning in Interaction: Tool, Material, Culture

Machine Learning en Interaction: Outil, Matériau, Culture

Abstract

This habilitation deals with the study of machine learning in situated interaction, where I propose and articulate three interdependent analytical points of view: tool, material and culture. These three perspectives define the structure of the manuscript. In the first part, I consider machine learning as a tool. I propose to begin with theoretical work on the use of tools, from cognitive science to human-computer interaction. This work emphasises that the use of a tool involves situated actions. I argue that this also applies to machine learning, which can only be considered a tool when it is situated. I illustrate this with two sets of my previous work: machine learning as a research tool in human perception studies and machine learning as a creative tool in musical performance. Finally, I show the limits of this perspective and call for a broader vision of machine learning in interaction. In the second part, I propose a broader vision in which the materiality of machine learning is analysed. I show the theoretical elements that characterise digital materiality, a notion that comes from Design research and the HCI community. However, appropriating the material expression of machine learning is no easy task. I will illustrate this with two series of previous works. The first takes up the research work of the creative community and explicitly highlights the elements that make up the materiality of this technology. The second presents work in pedagogy where the materiality of machine learning is highlighted to better convey its underlying concepts to novices. I discuss the fact that machine learning as a material requires tools and pedagogy. In the third part, interactions with machine learning are considered from a cultural and political point of view. Thanks to ambiguous terminology, the technology has been communicated using a normative vision. I explain and highlight how this discourse can be deconstructed to imagine more exciting and richer narratives related to interactions with machine learning. I illustrate this with two previous works. First, I show how visual artists make explicit this dominant culture in machine learning and artificial intelligence and discuss its limitations. Second, I present a performance art piece to which I contributed that questions the role of artificial intelligence in contemporary algorithmic societies and how this role elicits violent behaviour. In conclusion, I propose to highlight how this work and reasoning define rich and interdisciplinary research directions that will shape my future research agenda.
Cette habilitation porte sur l'étude de l'apprentissage automatique dans l'interaction située, où je propose et articule trois points de vue d'analyse interdépendants : en tant qu'outil, matériel et culture. Ces trois perspectives définissent la structure du manuscrit. Dans la première partie, je considère l'apprentissage automatique comme un outil. Je propose de commencer par les travaux théoriques sur l'utilisation des outils, des sciences cognitives à l'interaction humain-machine. Ces travaux soulignent que l'utilisation d'un outil implique des actions situées. Je soutiens que cela s'applique également à l'apprentissage automatique, qui ne peut être considéré comme un outil que lorsqu'il est situé. Je l'illustre par deux séries de mes travaux antérieurs : l'apprentissage automatique comme outil de recherche dans les études sur la perception humaine et l'apprentissage automatique comme outil créatif dans la performance musicale. Enfin, je montre les limites de cette perspective et appelle à une vision plus large de l'apprentissage automatique dans l'interaction. Dans la deuxième partie, je propose une vision plus large où la matérialité de l'apprentissage automatique est analysée. Je montre les éléments théoriques caractérisant la matérialité numérique, une notion issue de la communauté de la recherche en design et de l'interaction humain-machine. S'approprier l'expression matérielle de l'apprentissage automatique n'est cependant pas chose aisée. Je l'illustre par deux séries de travaux antérieurs. Le premier reprend les travaux de recherche de la communauté créative et met explicitement en évidence les éléments qui constituent la matérialité de cette technologie. Le second présente des travaux en pédagogie où la matérialité de l'apprentissage automatique est mise en avant pour mieux transmettre ses concepts sous-jacents aux novices. Je discute du fait que l'apprentissage automatique en tant que matériau nécessite des outils et une pédagogie. Dans la troisième partie, les interactions avec l'apprentissage automatique sont considérées du point de vue culturel et politique. Grâce à une terminologie ambiguë, la technologie a été communiquée en utilisant une vision normative. J'explique et souligne comment ce discours peut être déconstruit pour imaginer des récits plus passionnants et plus riches liés aux interactions avec l'apprentissage automatique. Je l'illustre par deux travaux antérieurs. Premièrement, je montre comment les artistes visuels rendent explicite cette culture dominante dans l'apprentissage automatique et l'intelligence artificielle et discutent de ses limites. Ensuite, je présente une performance artistique à laquelle j'ai contribué et qui questionne le rôle de l'intelligence artificielle dans les sociétés algorithmiques contemporaines et la manière dont ce rôle suscite des comportements violents. En conclusion, je propose de souligner comment ce travail et ce raisonnement définissent des directions de recherche riches et interdisciplinaires qui façonneront mon futur projet de recherche.
Fichier principal
Vignette du fichier
HDR_manuscript_caramiaux.pdf (22.19 Mo) Télécharger le fichier
Origin : Files produced by the author(s)
Licence : Copyright

Dates and versions

tel-04170434 , version 1 (25-07-2023)

Identifiers

  • HAL Id : tel-04170434 , version 1

Cite

Baptiste Caramiaux. Machine Learning in Interaction: Tool, Material, Culture. Human-Computer Interaction [cs.HC]. Université Paris-Saclay, 2023. ⟨tel-04170434⟩
263 View
29 Download

Share

Gmail Facebook X LinkedIn More