L’essor de l’IA générative et des systèmes agentiques transforme les capacités des technologies utilisées en santé. Il questionne aussi les modalités de leur régulation. L’AI Act européen est-il suffisamment adapté à ces nouveaux usages ? L’Omnibus numérique apporte-t-il des réponses à la hauteur des enjeux ?
De l’IA qui répond à l’IA qui agit
L’intelligence artificielle générative a profondément élargi les possibilités d’utilisation de l’IA en santé : aide à la rédaction, synthèse documentaire, appui au diagnostic, coordination des soins ou encore recherche biomédicale.
Une nouvelle étape se dessine avec les agents IA. Au-delà de la génération de contenu, ces systèmes peuvent mobiliser des outils, interagir avec des logiciels et enchaîner des actions pour atteindre un objectif, avec une intervention humaine plus ou moins importante selon leur conception.
Cette évolution modifie la nature des risques.
Un modèle qui produit une réponse erronée peut induire un professionnel en erreur. Un agent disposant d’autorisations étendues peut, quant à lui, propager cette erreur à travers plusieurs opérations, modifier des données ou déclencher une action inappropriée.
Les risques dépendent alors non seulement du modèle, mais aussi des outils auxquels il accède, de ses permissions, de son environnement et des mécanismes de supervision.
C’est précisément cette complexité que souligne l’article de Stephen Gilbert, Max Ostermann et Oscar Freyer.
Les auteurs rappellent que les capacités utiles à la recherche biomédicale et à l’amélioration des soins peuvent également être détournées à des fins malveillantes. Ils évoquent notamment les risques biologiques, les cyberattaques contre les systèmes de santé et les effets possibles de l’usage intensif de l’IA sur l’autonomie et les compétences des professionnels.
Leur conclusion est pragmatique : les bénéfices de l’IA ne peuvent être dissociés d’une maîtrise effective de ses risques.
L’AI Act est-il adapté à cette nouvelle génération de systèmes ?
Entré en vigueur en 2024, le règlement européen sur l’intelligence artificielle, ou AI Act, repose sur une approche fondée sur les risques. Il prévoit notamment des obligations pour les fournisseurs de modèles d’IA à usage général et des exigences renforcées pour certains systèmes classés à haut risque.
Contrairement à ce que l’on pourrait penser, les agents IA ne sont pas exclus de ce cadre. La Commission européenne précise que les définitions existantes des systèmes d’IA et des modèles d’IA à usage général peuvent couvrir les agents. Selon leurs caractéristiques et leurs usages, les règles applicables aux systèmes et aux modèles concernés leur sont donc applicables.
L’AI Act prévoit également des obligations spécifiques pour les modèles à usage général présentant un risque systémique : évaluation des modèles, atténuation des risques, signalement des incidents graves et mesures de cybersécurité.
Le problème n’est donc pas l’absence totale de cadre juridique.
La difficulté tient plutôt à l’application de ces exigences à des systèmes dont les capacités, les interactions et les possibilités d’action évoluent rapidement.
Comment évaluer un agent qui utilise plusieurs outils ? Comment attribuer les responsabilités lorsque plusieurs fournisseurs, intégrateurs et utilisateurs interviennent dans une même chaîne d’action ? Comment maintenir une supervision humaine effective lorsque les opérations s’enchaînent à grande vitesse ?
Ces questions ne rendent pas automatiquement l’AI Act obsolète. Elles mettent à l’épreuve sa capacité à encadrer des usages qui deviennent plus complexes que les systèmes auxquels les dispositifs de conformité sont souvent associés.
L’Omnibus numérique : simplifier sans perdre de vue les risques
Le volet AI Omnibus s’inscrit dans une volonté européenne de simplifier la mise en œuvre de la réglementation et d’ajuster certaines modalités d’application.
Cette démarche répond à une préoccupation légitime : rendre les obligations plus applicables et donner aux acteurs économiques une visibilité suffisante pour innover et se mettre en conformité.
Mais simplifier la réglementation ne résout pas toutes les difficultés liées à l’IA agentique.
Le calendrier d’application, les exigences de conformité et la capacité opérationnelle des autorités de contrôle sont des questions distinctes de celle de l’adéquation des règles aux risques émergents.
L’AI Act comporte déjà des mécanismes permettant de tenir compte de l’évolution des capacités des modèles et des risques systémiques. La question est de savoir si leur mise en œuvre, les normes techniques et les dispositifs de contrôle évolueront assez rapidement pour accompagner la diffusion des agents IA.
Le véritable enjeu n’est donc pas de simplifier le cadre mais de s’assurer qu’il reste opérant face à des systèmes de plus en plus autonomes.
En santé, six leviers pour passer des principes aux pratiques
Les auteurs proposent six mesures complémentaires pour mieux maîtriser les risques liés à l’IA médicale.
1. Articuler la régulation générale de l’IA et les exigences propres à la santé.
Les spécificités du domaine médical doivent être prises en compte dans la réglementation, en associant les compétences en sécurité de l’IA à celles des autorités chargées des technologies de santé.
2. Adapter les cadres de sécurité des dispositifs médicaux à l’IA générative.
Les systèmes génératifs ne fonctionnent pas comme des dispositifs statiques conçus pour une fonction unique. Les cadres de sécurité doivent tenir compte de leurs caractéristiques et de leurs risques propres.
3. Évaluer les systèmes dans leur environnement réel.
La sécurité ne se limite pas à la performance d’un modèle pris isolément. Elle dépend aussi de ses interactions avec les professionnels, les infrastructures, les logiciels et les autres systèmes. Les conditions de déploiement doivent faire partie intégrante de l’évaluation.
4. Organiser une supervision humaine effective.
La présence d’un professionnel dans la boucle ne garantit pas, à elle seule, la sécurité. La supervision doit être proportionnée aux risques, soutenue par des moyens adaptés et accompagnée d’une formation appropriée.
5. Renforcer la transparence et le retour d’expérience.
Les incidents et les défaillances doivent pouvoir être signalés, analysés et utilisés pour améliorer les systèmes. La transparence doit contribuer concrètement à la sécurité, au-delà de la simple documentation technique.
6. Faire appliquer les exigences de sécurité.
Les obligations réglementaires doivent être accompagnées de mécanismes de contrôle et de mesures correctives effectives. Sans application réelle, la réglementation risque de rester insuffisante pour protéger les utilisateurs et les systèmes de soins.
Ces propositions ne constituent pas une liste d’obligations nouvelles introduites par l’AI Act. Elles mettent en évidence les conditions nécessaires pour rendre la maîtrise des risques effective.
La supervision humaine : une exigence qui suppose des compétences
Parmi ces leviers, la supervision humaine mérite une attention particulière.
Plus un système peut agir de manière autonome, plus il devient nécessaire de définir précisément les actions qu’il est autorisé à entreprendre, les situations qui nécessitent une validation humaine et les mécanismes permettant de détecter, d’interrompre ou de corriger une opération inappropriée.
Or, la supervision peut elle-même échouer : fatigue, confiance excessive dans les résultats, manque de temps, insuffisance de formation ou difficulté à comprendre les opérations réalisées par le système.
Dans le domaine de la santé, ces limites ont des conséquences directes sur la sécurité des soins.
La maîtrise de l’IA suppose donc des compétences qui dépassent la capacité à utiliser un outil. Les professionnels doivent comprendre les limites des modèles, exercer leur jugement critique, identifier les risques associés à une délégation de tâches et savoir quand intervenir ou renoncer à l’automatisation.
La formation devient ainsi une composante de la sécurité opérationnelle, en complément des mesures techniques et réglementaires.
Un AI Act dépassé ou un cadre à faire évoluer ?
Il serait prématuré de conclure que l’AI Act est dépassé par l’IA générative et les agents IA. Le règlement intègre déjà les modèles d’IA à usage général, les risques systémiques et des mécanismes d’adaptation aux évolutions technologiques.
En revanche, l’essor des systèmes agentiques révèle des difficultés concrètes : évaluer les chaînes d’action, maîtriser les interactions entre outils, organiser une supervision proportionnée à l’autonomie et maintenir la sécurité après le déploiement.
L’enjeu est donc moins de déclarer le cadre européen obsolète que de vérifier sa capacité à rester efficace dans des environnements technologiques en évolution rapide.
Pour l’écosystème de l’IA en santé, trois questions méritent d’être posées :
-
Les mécanismes actuels d’évaluation et de conformité sont-ils suffisants pour des systèmes capables d’enchaîner des actions ?
-
Comment garantir une supervision humaine réelle, plutôt que simplement formelle ?
-
Comment articuler réglementation, sécurité opérationnelle et formation des professionnels ?
L’innovation et la régulation ne sont pas nécessairement antagonistes. Mais leur articulation doit être constamment réévaluée à mesure que les capacités des systèmes évoluent.
La question centrale n’est donc pas seulement de savoir si l’AI Act encadre l’IA d’aujourd’hui, mais s’il permettra de maîtriser celle de demain.
Référence scientifique
Gilbert, S., Ostermann, M. & Freyer, O. (2026). Six pragmatic steps to separate medical GenAI’s promise from its inherent dangers. npj Digital Medicine, 9, 782.