Human Oversight of Artificial Intelligence and Technical Standardisation
Contrôle humain de l’Intelligence Artificielle et normalisation technique
Résumé
The adoption of human oversight measures makes it possible to regulate, to varying degrees and in different ways, the decision-making process of Artificial Intelligence (AI) systems, for example by placing a human being in charge of supervising the system and, upstream, by developing the AI system to enable such supervision. Within the global governance of AI, the requirement for human oversight is embodied in several regulatory formats, within a diversity of normative sources. On the one hand, it reinforces the accountability of AI systems’ users (for example, by requiring them to carry out certain checks) and, on the other hand, it better protects the individuals affected by the AI-based decision (for example, by allowing them to request a review of the decision).
In the European context, the AI Act imposes obligations on providers of high-risk AI systems (and to some extent also on professional users of these systems, known as deployers), including the introduction of human oversight tools throughout the life cycle of AI systems, including by design (and their implementation by deployers). The EU legislator is therefore going much further than in the past in “spelling out” the legal requirement for human oversight. But it does not intend to provide for all implementation details; it calls on standardisation to technically flesh out this requirement (and more broadly all the requirements of section 2 of chapter III) on the basis of article 40 of the AI Act.
In this multi-level regulatory context, the question of the place of humans in the AI decision-making process should be given particular attention. Indeed, depending on whether it is the law or the technical standard that sets the contours of human oversight, the “regulatory governance” of AI is not the same: its nature, content and scope are different. This analysis is at the heart of the contribution made (or to be made) by legal experts to the central reflection on the most appropriate regulatory governance - in terms of both its institutional format and its substance - to ensure the effectiveness of human oversight and AI trustworthiness. This is particularly true of the AI Act, whose topicality, broad scope and likely global influence make it an essential piece of legislation. How does the AI Act plan to divide the requirement for human oversight between its hard law provisions and the voluntary provisions entrusted to standardisation? And is this distribution convincing enough to guarantee an ecosystem of trust?
This chapter proposes two analytical approaches, which are classic in the legal field, in order to sketch out some answers as to the place to be given to technical standards, in contemplation of EU law, with regard to human oversight. First, the concept of human oversight is examined, and secondly, its regime.
As regards the regulatory analysis of the notion of human oversight, it shows the primary role of the law in defining the notional contours of the requirement for human oversight. The relay of the standard is essential when it comes to extending the notional scope of human oversight in the service of the global AI industry and arranging this requirement in the normative architecture of AI trustworthiness.
Then, the regulatory analysis of the implementation aspect of human oversight highlights the primary role of the law in establishing “mandatory degrees” in the various measures and procedures for exercising human oversight by providers and deployers of AI systems. In this way, human oversight is applied with varying degrees of rigour, while leaving operators some operational leeway. Standards take over to technically define the granularity of these mandatory degrees for a given human oversight measure, and to give concrete form to them by means of technical implementation tools.
L’adoption de mesures de contrôle humain permet d’encadrer, à des degrés divers et suivant des modalités variées, le processus décisionnel des systèmes d’intelligence artificielle, par exemple en plaçant une personne humaine en supervision du système et, en amont, en le développant techniquement pour permettre une telle supervision. Au sein de la gouvernance mondiale de l’IA, l’exigence de contrôle humain est concrétisée par plusieurs formats régulatoires, au sein d’une diversité de sources normatives. Elle permet, d’une part, de responsabiliser les utilisateurs desdits systèmes (par exemple, en leur imposant d’opérer certains contrôles) et, d’autre part, de protéger les personnes affectées par la décision (par exemple, en leur permettant de demander une révision de la décision).
Dans le contexte européen, l’AI Act fait peser sur les fournisseurs de SIA à haut-risque (et dans une certaine mesure également sur les utilisateurs professionnels de ces systèmes qualifiés de déployeurs) des obligations dont la mise en place d’outils de contrôle humain, tout au long du cycle de vie des SIA, y compris by design (et leur mise en œuvre par les déployeurs). Le législateur de l’Union va donc beaucoup plus loin que par le passé dans « l’explicitation » de l’exigence légale de contrôle humain. Mais il n’entend pas pour autant tout prévoir ; il fait appel à la normalisation pour étoffer techniquement cette exigence (et plus largement l’ensemble des exigences de la section 2 du chapitre III) sur le fondement de l’article 40 de l’AI Act.
Dans ce contexte règlementaire multi-niveaux, la question de la place de l’humain dans le processus décisionnel de l’IA doit particulièrement retenir l’attention. En effet, selon que c’est la loi ou la norme technique qui fixe les contours du contrôle humain, la « gouvernance régulatoire » de l’IA n’a pas le même visage : sa nature, sa teneur et sa portée sont différentes.
Cette réflexion est au cœur de la contribution des juristes à la réflexion centrale sur la gouvernance régulatoire la plus appropriée – tout à la fois quant à son format institutionnel et à sa substance – pour assurer l’effectivité du contrôle humain au service d’une IA de confiance. Cela vaut particulièrement pour l’AI Act dont l’actualité, le large champ d’application et la probable influence mondiale en font un texte incontournable. Comment l’AI Act a-t-il prévu de répartir l’exigence de contrôle humain entre ses dispositions de hard law et celles, volontaires, confiées à la normalisation ? Et cette répartition est-elle convaincante pour garantir un écosystème de confiance ?
Deux axes analytiques, classiques en droit, sont proposés dans ce chapitre, pour esquisser quelques éléments de réponse s’agissant de la place à accorder aux normes techniques, en contemplation de la loi européenne, en matière de contrôle humain. Il s’agit, en premier lieu, de l’étude de la notion de contrôle humain et, en second lieu, de celle de son régime.
S’agissant, en premier lieu, de l’analyse régulatoire du contrôle humain dans son volet notionnel, elle permet de montrer le rôle premier de la loi pour arrêter les contours notionnels de l’exigence de contrôle humain. Le relai de la norme est essentiel lorsqu’il s’agit d’étendre la portée notionnelle du contrôle humain au service de l’industrie mondiale de l’IA et d’agencer cette exigence dans l’architecture normative de l’IA de confiance.
S’agissant, en second lieu, de l’analyse régulatoire du contrôle humain dans son volet de mise en œuvre, elle a permis de montrer le rôle premier de la loi dans l’établissement de « degrés obligationnels » dans les différentes mesures et procédés d’exercice du contrôle humain à la charge des fournisseurs et déployeurs de systèmes d’IA. Ainsi, le contrôle humain joue à des degrés de rigueur variables, tout en laissant une marge de manœuvre opérationnelle aux opérateurs. La norme prend le relai pour approfondir techniquement la granularité de ces degrés obligationnels pour telle ou telle mesure de contrôle humain et pour les concrétiser à travers des outils techniques de mise en œuvre.
Fichier principal
HAL DRAFT 28 05 Contrôle humain de l'IA et normalisation.pdf (333.39 Ko)
Télécharger le fichier
Origine | Fichiers produits par l'(les) auteur(s) |
---|