Systemes d'IA a haut risque : Exigences completes au titre du Reglement sur l'IA de l'UE

Les systemes d'IA a haut risque constituent la piece maitresse du cadre reglementaire du Reglement sur l'IA de l'UE. Si le reglement etablit quatre niveaux de risque, c'est la categorie a haut risque qui comporte l'ensemble d'exigences de conformite le plus detaille et le plus exigeant. Les articles 8 a 15 du Reglement 2024/1689 exposent un ensemble complet d'obligations que les fournisseurs doivent remplir avant de mettre un systeme d'IA a haut risque sur le marche ou de le mettre en service.

Cet article fournit un examen detaille de chaque exigence, accompagne de conseils pratiques sur ce a quoi ressemble la conformite en pratique.

Les exigences des articles 8-15 s'appliquent aux fournisseurs de systemes d'IA a haut risque. Les deployers ont des obligations distinctes au titre de l'article 26, mais elles dependent fortement de la documentation et des choix de conception effectues par les fournisseurs. Les deux roles doivent comprendre ces exigences de maniere approfondie.

Article 8 : Conformite aux exigences

L'article 8 etablit le principe general : les systemes d'IA a haut risque doivent se conformer aux exigences prevues aux articles 9 a 15, en tenant compte de la finalite prevue du systeme ainsi que de l'etat de l'art generalement reconnu.

Cet article introduit egalement le concept de proportionnalite. Les exigences doivent etre remplies « en tenant compte de la finalite prevue du systeme d'IA a haut risque et du systeme de gestion des risques vise a l'article 9 ». Cela signifie que la profondeur et la rigueur des mesures de conformite doivent etre proportionnees aux risques specifiques poses par le systeme en question.

La norme de l'etat de l'art

La reference a « l'etat de l'art generalement reconnu » a l'article 8, paragraphe 1, est significative. Elle signifie que la conformite n'est pas evaluee par rapport a une norme technique fixe, mais par rapport aux meilleures pratiques en evolution. Ce qui constitue une gestion des risques adequate ou une exactitude suffisante aujourd'hui peut ne plus l'etre demain a mesure que le domaine progresse. Les fournisseurs doivent rester au fait des developpements en matiere de securite, d'equite et de securite de l'IA.

Article 9 : Systeme de gestion des risques

L'article 9 est sans doute l'exigence la plus fondamentale. Il impose qu'un systeme de gestion des risques soit etabli, mis en oeuvre, documente et maintenu pour chaque systeme d'IA a haut risque.

Ce que le systeme de gestion des risques doit inclure

Le systeme de gestion des risques est defini comme un processus continu et iteratif qui se deroule tout au long du cycle de vie du systeme d'IA a haut risque. Au titre de l'article 9, paragraphe 2, il doit inclure :

L'identification et l'analyse des risques connus et raisonnablement previsibles que le systeme d'IA a haut risque peut poser pour la sante, la securite ou les droits fondamentaux lorsqu'il est utilise conformement a sa finalite prevue.

L'estimation et l'evaluation des risques susceptibles d'apparaitre lorsque le systeme d'IA a haut risque est utilise conformement a sa finalite prevue et dans des conditions de mauvaise utilisation raisonnablement previsible.

L'evaluation des risques decoulant de l'analyse des donnees recueillies par le systeme de surveillance apres la mise sur le marche vise a l'article 72.

L'adoption de mesures de gestion des risques appropriees et ciblees concues pour traiter les risques identifies.

Approche d'attenuation des risques

L'article 9, paragraphe 4, exige que les mesures de gestion des risques tiennent dument compte des effets et des interactions possibles resultant de l'application combinee des exigences. Elles doivent etre telles que le risque residuel pertinent associe a chaque danger ainsi que le risque residuel global du systeme d'IA a haut risque soient juges acceptables.

Les mesures de gestion des risques doivent tenir compte de l'etat de l'art generalement reconnu, y compris tel qu'il est reflete dans les normes harmonisees ou les specifications communes pertinentes.

Exigences en matiere de tests

L'article 9, paragraphes 5 a 7, traite specifiquement des tests. Les systemes d'IA a haut risque doivent etre testes pour identifier les mesures de gestion des risques les plus appropriees et ciblees. Les tests doivent garantir que le systeme fonctionne de maniere coherente pour sa finalite prevue et qu'il est conforme aux exigences. Les procedures de test doivent etre adaptees a la finalite prevue du systeme d'IA et ne doivent pas aller au-dela de ce qui est necessaire pour atteindre cet objectif.

Les tests doivent etre effectues par rapport a des metriques et des seuils probabilistes prealablement definis, et doivent tenir compte des caracteristiques specifiques de la finalite prevue.

Le systeme de gestion des risques n'est pas un document que l'on cree une fois et que l'on archive. L'article 9, paragraphe 1, stipule explicitement qu'il doit s'agir d'un « processus iteratif continu planifie et execute tout au long du cycle de vie ». Cela implique des mises a jour regulieres a mesure que le systeme evolue, que de nouveaux risques emergent de l'utilisation en conditions reelles et que l'etat de l'art progresse.

Article 10 : Donnees et gouvernance des donnees

L'article 10 etablit les exigences relatives aux donnees utilisees pour entrainer, valider et tester les systemes d'IA a haut risque. La qualite des donnees est traitee comme une pierre angulaire d'une IA digne de confiance.

Donnees d'entrainement, de validation et de test

Au titre de l'article 10, paragraphe 2, les jeux de donnees d'entrainement, de validation et de test doivent faire l'objet de pratiques de gouvernance et de gestion des donnees appropriees a la finalite prevue du systeme d'IA. Ces pratiques concernent :

Les choix de conception pertinents
Les processus de collecte des donnees et leur origine, et dans le cas de donnees a caractere personnel, la finalite initiale de la collecte des donnees
Les operations de preparation des donnees pertinentes telles que l'annotation, l'etiquetage, le nettoyage, la mise a jour, l'enrichissement et l'agregation
La formulation d'hypotheses pertinentes, notamment en ce qui concerne les informations que les donnees sont censees mesurer et representer
Une evaluation de la disponibilite, de la quantite et de l'adequation des jeux de donnees necessaires
L'examen en vue de possibles biais susceptibles d'affecter la sante et la securite des personnes, d'avoir un impact negatif sur les droits fondamentaux, ou de conduire a une discrimination interdite par le droit de l'Union, en particulier lorsque les resultats des donnees influencent les entrees pour les operations futures (boucles de retroaction)
Des mesures appropriees pour detecter, prevenir et attenuer les biais eventuels

Exigences relatives aux jeux de donnees

L'article 10, paragraphe 3, precise que les jeux de donnees d'entrainement, de validation et de test doivent etre pertinents, suffisamment representatifs et, dans la mesure du possible, exempts d'erreurs et complets au regard de la finalite prevue. Ils doivent posseder les proprietes statistiques appropriees, y compris, le cas echeant, en ce qui concerne les personnes ou groupes de personnes a l'egard desquels le systeme d'IA a haut risque est destine a etre utilise.

Dispositions speciales relatives aux biais

L'article 10, paragraphe 5, autorise le traitement de categories speciales de donnees a caractere personnel (telles que definies a l'article 9, paragraphe 1, du RGPD et a l'article 10 de la directive relative a l'application de la loi) dans la stricte mesure necessaire a la detection et a la correction des biais. Il s'agit d'une derogation importante qui permet aux fournisseurs de traiter des donnees sensibles specifiquement dans le but d'assurer l'equite.

Article 11 : Documentation technique

L'article 11 exige des fournisseurs qu'ils elaborent une documentation technique avant que le systeme d'IA a haut risque ne soit mis sur le marche ou mis en service. La documentation doit etre tenue a jour.

Exigences de contenu

La documentation technique doit etre redigee de maniere a demontrer que le systeme d'IA a haut risque est conforme aux exigences prevues aux articles 8 a 15 et a fournir aux autorites nationales competentes et aux organismes notifies les informations necessaires pour evaluer la conformite du systeme d'IA. Elle doit contenir, au minimum, les elements prevus a l'annexe IV.

L'annexe IV precise des exigences etendues en matiere de documentation, comprenant :

Une description generale du systeme d'IA, de sa finalite prevue et du fournisseur
Une description detaillee des elements du systeme d'IA et de son processus de developpement
Des informations detaillees sur la surveillance, le fonctionnement et le controle du systeme d'IA
Une description du systeme de gestion des risques
Des informations sur les donnees utilisees (jeux de donnees d'entrainement, de validation, de test)
Une description des mesures de controle humain
Une description des modifications predeterminees du systeme
Une liste des normes harmonisees ou des specifications communes appliquees
Une copie de la declaration UE de conformite
Une description detaillee du systeme d'evaluation des performances du systeme d'IA dans la phase de post-commercialisation

La Commission europeenne peut adopter des actes d'execution etablissant un modele commun pour la documentation technique (article 11, paragraphe 3). Lorsqu'il sera disponible, l'utilisation de ce modele simplifiera la conformite et assurera la coherence. En attendant, les fournisseurs devraient suivre de pres l'annexe IV.

Article 12 : Tenue de registres

L'article 12 exige que les systemes d'IA a haut risque soient concus et developpes avec des capacites permettant l'enregistrement automatique des evenements (journaux) pendant le fonctionnement du systeme.

Capacites de journalisation

Les capacites de journalisation doivent permettre la surveillance du fonctionnement du systeme d'IA a haut risque en ce qui concerne la survenance de situations susceptibles d'entrainer un risque pour le systeme d'IA, ou de constituer une modification substantielle, et faciliter la surveillance apres la mise sur le marche visee a l'article 72.

Au titre de l'article 12, paragraphe 2, les capacites de journalisation doivent inclure au minimum :

L'enregistrement de la duree de chaque utilisation du systeme (date et heure de debut, date et heure de fin)
La base de donnees de reference par rapport a laquelle les donnees d'entree ont ete verifiees
Les donnees d'entree pour lesquelles la recherche a abouti a une correspondance
L'identification des personnes physiques impliquees dans la verification des resultats (visees a l'article 14, paragraphe 5)

Tracabilite

L'objectif de ces exigences de journalisation est la tracabilite. Lorsqu'un incident survient ou qu'une plainte est deposee, les journaux doivent permettre aux autorites et aux fournisseurs de reconstituer ce que le systeme a fait, quand, et sur la base de quelles entrees. Cela est essentiel pour une surveillance efficace apres la mise sur le marche et pour les enquetes menees par les autorites de surveillance du marche.

Need auditable AI for compliance?

Ctrl AI provides full execution traces, expert verification, and trust-tagged outputs for every AI decision.

Learn About Ctrl AI

Article 13 : Transparence et fourniture d'informations aux deployers

L'article 13 exige que les systemes d'IA a haut risque soient concus et developpes de maniere a ce que leur fonctionnement soit suffisamment transparent pour permettre aux deployers d'interpreter les resultats du systeme et de les utiliser de maniere appropriee.

Instructions d'utilisation

Au titre de l'article 13, paragraphe 3, les fournisseurs doivent fournir aux deployers des instructions d'utilisation comprenant au minimum :

L'identite et les coordonnees du fournisseur
Les caracteristiques, capacites et limites de performance du systeme d'IA a haut risque, y compris sa finalite prevue, le niveau d'exactitude, de robustesse et de cybersecurite, et toute circonstance connue ou previsible susceptible de presenter des risques pour la sante, la securite ou les droits fondamentaux
Les modifications du systeme predeterminees par le fournisseur
Les mesures de controle humain, y compris les mesures techniques concues pour faciliter l'interpretation des resultats du systeme d'IA par les deployers
Les ressources informatiques et materielles necessaires, la duree de vie prevue et les mesures d'entretien et de maintenance pour assurer un bon fonctionnement
Le cas echeant, une description des donnees d'entree et des mesures visant a assurer une qualite appropriee des donnees

Interpretabilite

L'exigence de transparence va au-dela de la simple documentation. L'article 13, paragraphe 1, souligne que les systemes d'IA doivent etre concus de maniere a ce que les deployers puissent effectivement interpreter les resultats et les utiliser de maniere appropriee. Pour les systemes d'IA a haut risque qui prennent ou eclairent des decisions concernant des individus, cela signifie fournir des informations sur les principaux facteurs, et le cas echeant, les principaux parametres contribuant a un resultat particulier.

Article 14 : Controle humain

L'article 14 est l'une des caracteristiques les plus distinctives du Reglement sur l'IA de l'UE. Il exige que les systemes d'IA a haut risque soient concus et developpes de maniere a pouvoir etre effectivement supervises par des personnes physiques pendant la periode d'utilisation.

Conception pour le controle

Le controle humain doit etre integre dans la conception du systeme par le fournisseur et mis en oeuvre par le deployer. Au titre de l'article 14, paragraphe 3, les mesures doivent etre adaptees aux risques, au niveau d'autonomie et au contexte d'utilisation, et doivent permettre aux personnes qui supervisent le systeme de :

(a) Comprendre correctement les capacites et les limites pertinentes du systeme d'IA a haut risque et etre en mesure de surveiller dument son fonctionnement, y compris en vue de detecter et de traiter les anomalies, les dysfonctionnements et les performances inattendues.

(b) Rester conscientes de la tendance possible a se fier automatiquement ou a se fier excessivement aux resultats produits par le systeme (biais d'automatisation), en particulier pour les systemes d'IA a haut risque utilises pour fournir des informations ou des recommandations pour des decisions devant etre prises par des personnes physiques.

(c) Etre en mesure d'interpreter correctement les resultats du systeme d'IA a haut risque, en tenant compte, par exemple, des outils et methodes d'interpretation disponibles.

(d) Etre en mesure de decider, dans toute situation particuliere, de ne pas utiliser le systeme d'IA a haut risque ou de ne pas tenir compte, de passer outre ou d'annuler le resultat du systeme d'IA a haut risque.

(e) Etre en mesure d'intervenir dans le fonctionnement du systeme d'IA a haut risque ou d'interrompre le systeme au moyen d'un bouton d'arret ou d'une procedure similaire permettant au systeme de s'arreter dans un etat sur.

Le controle humain n'est pas un tampon automatique. L'article 14, paragraphe 4, point a), traite explicitement du biais d'automatisation -- la tendance des humains a se fier aux resultats automatises. Les fournisseurs doivent concevoir des systemes qui contrecarrent activement cette tendance, et les deployers doivent veiller a ce que le personnel de supervision soit correctement forme et habilite a passer outre le systeme.

Identification du personnel de supervision

Au titre de l'article 14, paragraphe 5, pour les systemes d'IA a haut risque utilises dans le domaine de la biometrie (annexe III, point 1), le systeme doit etre concu de maniere a ce qu'aucune action ou decision ne soit prise par le deployer sur la base de l'identification resultant du systeme, a moins que celle-ci n'ait ete verifiee et confirmee separement par au moins deux personnes physiques.

Article 15 : Exactitude, robustesse et cybersecurite

L'article 15 etablit les exigences de performance technique pour les systemes d'IA a haut risque, couvrant trois dimensions distinctes.

Exactitude

L'article 15, paragraphe 1, exige que les systemes d'IA a haut risque soient concus et developpes de maniere a atteindre un niveau approprie d'exactitude, de robustesse et de cybersecurite, et a fonctionner de maniere coherente a ces egards tout au long de leur cycle de vie.

Au titre de l'article 15, paragraphe 2, les niveaux d'exactitude et les metriques d'exactitude pertinentes doivent etre declares dans les instructions d'utilisation. Cela signifie que les fournisseurs doivent definir, mesurer et communiquer l'exactitude de leurs systemes en termes concrets et mesurables.

Robustesse

L'article 15, paragraphe 4, traite de la robustesse, exigeant que les systemes d'IA a haut risque soient aussi resilients que possible face aux erreurs, aux defauts ou aux incoherences pouvant survenir au sein du systeme ou dans l'environnement dans lequel le systeme opere, en particulier en raison de leur interaction avec des personnes physiques ou d'autres systemes. Cela inclut :

Des solutions de redondance technique, pouvant inclure des plans de sauvegarde ou de secours
La resilience face aux tentatives de tiers non autorises de modifier l'utilisation ou les performances du systeme d'IA a haut risque en exploitant ses vulnerabilites (robustesse adversaire)

Cybersecurite

L'article 15, paragraphe 5, exige que les systemes d'IA a haut risque soient resilients face aux tentatives de tiers non autorises d'exploiter les vulnerabilites du systeme. Les mesures de cybersecurite doivent etre adaptees aux circonstances et aux risques pertinents, et peuvent inclure des mesures de prevention et de controle pour :

Les attaques visant a manipuler les jeux de donnees d'entrainement (empoisonnement des donnees)
Les attaques visant a manipuler les composants pre-entraines utilises dans l'entrainement (empoisonnement du modele)
Les entrees concues pour amener le modele d'IA a commettre une erreur (exemples adversaires ou evasion de modele)
Les attaques de confidentialite
Les defauts du modele

Au-dela des articles 8-15 : Obligations supplementaires des fournisseurs

Si les articles 8-15 definissent les exigences techniques et procedurales fondamentales, les fournisseurs de systemes d'IA a haut risque font face a plusieurs obligations supplementaires.

Systeme de gestion de la qualite (article 17)

Les fournisseurs doivent mettre en oeuvre un systeme de gestion de la qualite qui garantit la conformite au reglement. Le SMQ doit inclure :

Une strategie de conformite reglementaire, y compris les procedures d'evaluation de la conformite et la gestion des modifications
Des techniques, procedures et actions systematiques pour la conception, le controle de la conception et la verification de la conception
Des techniques, procedures et actions pour le developpement, le controle qualite et l'assurance qualite
Des procedures d'examen, de test et de validation a effectuer avant, pendant et apres le developpement, ainsi que la frequence de ces procedures
Des specifications techniques, y compris des normes, a appliquer
Des systemes et procedures de gestion des donnees
Un systeme de gestion des risques tel que vise a l'article 9
La surveillance apres la mise sur le marche, y compris les obligations de l'article 72
Les procedures de signalement des incidents au titre de l'article 73
La communication avec les autorites competentes, les autres acteurs concernes et les deployers
Les systemes et procedures de tenue de registres
La gestion des ressources, y compris les mesures de securite d'approvisionnement
Un cadre de responsabilite

Evaluation de la conformite (article 43)

Avant qu'un systeme d'IA a haut risque puisse etre mis sur le marche, les fournisseurs doivent se soumettre a une evaluation de la conformite pour verifier que le systeme satisfait a toutes les exigences applicables. La nature de cette evaluation depend du type de systeme d'IA :

Pour la plupart des systemes d'IA a haut risque enumeres a l'annexe III, les fournisseurs peuvent proceder a l'evaluation de la conformite par controle interne (annexe VI), fonde sur un systeme de gestion de la qualite et une evaluation de la documentation technique.
Pour les systemes d'IA a haut risque lies a l'identification biometrique (annexe III, point 1), et pour les systemes de l'annexe I ou une evaluation par un tiers est exigee par la legislation sectorielle, un organisme notifie doit etre implique.

Declaration UE de conformite (article 47)

A l'issue d'une evaluation de la conformite reussie, le fournisseur doit etablir une declaration UE de conformite pour chaque systeme d'IA et la tenir a disposition pendant 10 ans apres la mise sur le marche ou la mise en service du systeme.

Marquage CE (article 48)

Le marquage CE doit etre appose sur le systeme d'IA a haut risque ou, lorsque ce n'est pas possible, sur son emballage ou sur la documentation l'accompagnant, de maniere visible, lisible et indelebile.

Enregistrement (article 49)

Les fournisseurs doivent enregistrer leur systeme d'IA a haut risque dans la base de donnees de l'UE (etablie au titre de l'article 71) avant de le mettre sur le marche ou de le mettre en service.

Surveillance apres la mise sur le marche (article 72)

Les fournisseurs doivent etablir et documenter un systeme de surveillance apres la mise sur le marche qui soit proportionne a la nature et aux risques du systeme d'IA. Le systeme doit collecter, documenter et analyser activement et systematiquement les donnees pertinentes sur les performances du systeme tout au long de sa duree de vie.

Satisfaire a ces exigences represente un effort considerable, mais c'est aussi une opportunite de construire des systemes d'IA plus robustes, plus fiables et plus dignes de confiance. Les organisations qui integrent ces pratiques dans leurs processus de developpement produiront de meilleurs produits tout en assurant la conformite.

Obligations des deployers (article 26)

Bien que les exigences des articles 8-15 s'adressent aux fournisseurs, les deployers de systemes d'IA a haut risque ont leurs propres obligations etroitement liees a la conformite des fournisseurs.

Principales exigences des deployers

Au titre de l'article 26, les deployers doivent :

Utiliser le systeme conformement aux instructions : Les deployers doivent utiliser le systeme d'IA a haut risque conformement aux instructions d'utilisation fournies par le fournisseur.
Affecter un controle humain competent : Veiller a ce que les personnes physiques affectees au controle humain soient competentes, correctement formees et disposent de l'autorite et des ressources necessaires pour remplir efficacement leur role.
Surveiller le fonctionnement : Dans la mesure ou le deployer exerce un controle sur le systeme d'IA, veiller a ce que les donnees d'entree soient pertinentes et suffisamment representatives au regard de la finalite prevue.
Suspendre ou cesser l'utilisation : Si le deployer a des raisons de considerer que l'utilisation du systeme d'IA conformement aux instructions peut entrainer des risques, il doit suspendre le systeme et en informer le fournisseur ou le distributeur.
Conserver les journaux : Conserver les journaux generes automatiquement par le systeme d'IA a haut risque pendant une periode d'au moins six mois (sauf disposition contraire du droit de l'Union ou national applicable).
Realiser une evaluation d'impact sur les droits fondamentaux : Au titre de l'article 27, les deployers qui sont des organismes de droit public ou des entites privees fournissant des services publics doivent realiser une evaluation d'impact sur les droits fondamentaux avant de mettre en service un systeme d'IA a haut risque.
Informer les travailleurs : Au titre de l'article 26, paragraphe 7, les deployers doivent informer les representants des travailleurs et les travailleurs concernes qu'ils seront soumis a l'utilisation d'un systeme d'IA a haut risque.

Construire un programme de conformite

Satisfaire a ces exigences necessite un programme de conformite structure. Voici une approche pratique.

Phase 1 : Evaluation

Inventoriez vos systemes d'IA, classez-les dans le cadre des risques et identifiez les systemes a haut risque. Pour chaque systeme a haut risque, effectuez une analyse des ecarts par rapport aux articles 8-15 et aux obligations supplementaires.

Phase 2 : Mise en oeuvre

Comblez les lacunes identifiees de maniere systematique. Etablissez le systeme de gestion des risques, mettez en oeuvre les pratiques de gouvernance des donnees, creez la documentation technique, developpez les capacites de journalisation, concevez les mecanismes de controle humain et assurez une exactitude, une robustesse et une cybersecurite adequates.

Phase 3 : Verification

Effectuez l'evaluation de la conformite, preparez la declaration UE de conformite, apposez le marquage CE et enregistrez le systeme dans la base de donnees de l'UE.

Phase 4 : Conformite continue

Maintenez le systeme de surveillance apres la mise sur le marche, mettez a jour la documentation au fur et a mesure de l'evolution du systeme, signalez les incidents et revoyez regulierement le systeme de gestion des risques.

Conclusion

Les exigences relatives aux systemes d'IA a haut risque au titre du Reglement sur l'IA de l'UE sont completes et exigeantes. Elles couvrent l'ensemble du cycle de vie d'un systeme d'IA, de la conception initiale au deploiement et au-dela. Les articles 8 a 15 etablissent un cadre qui, lorsqu'il est correctement mis en oeuvre, garantit que les systemes d'IA a haut risque sont surs, transparents, responsables et respectueux des droits fondamentaux.

La cle de la conformite est de reconnaitre que ces exigences sont interconnectees. Le systeme de gestion des risques eclaire les decisions de gouvernance des donnees, qui faconnent la documentation technique, qui sous-tend la transparence, qui permet le controle humain. Traiter ces exigences comme des listes de controle isolees conduira a une conformite fragmentee. Les traiter comme un systeme coherent produira a la fois la conformite et une meilleure IA.

Les organisations devraient commencer leurs travaux de conformite des maintenant, en utilisant l'approche progressive decrite ci-dessus. Les echeances d'aout 2026 pour les systemes de l'annexe III et d'aout 2027 pour les systemes de l'annexe I peuvent sembler lointaines, mais la profondeur de ces exigences signifie que la preparation ne peut etre differee.