De l’IA qui répond à l’IA qui agit

L’AI Act est-il adapté à cette nouvelle génération de systèmes ?

L’Omnibus numérique : simplifier sans perdre de vue les risques

En santé, six leviers pour passer des principes aux pratiques

La supervision humaine : une exigence qui suppose des compétences

Un AI Act dépassé ou un cadre à faire évoluer ?

• Les mécanismes actuels d’évaluation et de conformité sont-ils suffisants pour des systèmes capables d’enchaîner des actions ?
• Comment garantir une supervision humaine réelle, plutôt que simplement formelle ?
• Comment articuler réglementation, sécurité opérationnelle et formation des professionnels ?

Référence scientifique

Pour aller plus loin

« L’humain dans la boucle » : c’est la promesse rassurante qui accompagne le déploiement des agents IA autonomes. Les algorithmes exécutent, l’humain supervise et garde la main. Mais sur le terrain, plus l’automatisation progresse, plus le rôle de l’humain devient difficile. Les risques ne disparaissent pas, ils se déplacent.

L’humain hérite de ce que la machine ne sait pas faire

Quand on conçoit un système pour éliminer l’erreur humaine, on laisse à l’opérateur les tâches que l’on n’a pas su automatiser. Cet assortiment arbitraire se réduit souvent à la gestion des cas limites et des défaillances imprévues, c’est-à-dire aux situations les plus difficiles.

Des compétences qui s’érodent, un contexte à reconstruire

Intervenir en cas de panne exige une grande expertise. Or des compétences pratiques et cognitives qu’on n’exerce plus au quotidien s’étiolent. Il faut aussi du temps pour reconstituer une représentation mentale de l’état du système. Lors d’une reprise en main sous pression, l’humain décide donc avec des informations partielles, au moment où l’enjeu est maximal.

Surveiller une machine plus rapide que soi : mission impossible

Exiger une vigilance continue sur des flux automatisés relève de l’illusion. Les études de vigilance montrent qu’on ne maintient pas son attention au-delà d’environ une demi-heure sur un système stable où les anomalies sont rares. Et lorsque l’automatisme traite à grande vitesse des critères complexes, l’humain ne peut pas vérifier en temps réel que ses décisions sont pertinentes. Il ne peut juger qu’à un « méta-niveau » si le résultat paraît acceptable.

Une analyse très actuelle… écrite en 1983

Ces mécanismes décrivent à la perfection les défis des agents IA d’aujourd’hui. Pourtant, ils ne viennent pas d’une étude récente : ils forment la thèse de « Ironies of Automation », publié il y a plus de quarante ans par la psychologue Lisanne Bainbridge dans la revue Automatica.

À retenir pour nos organisations. Plus un système automatique est performant, plus le rôle de l’humain peut devenir indispensable et complexe. Plutôt que de cantonner l’humain à une surveillance passive impraticable, le vrai défi est de concevoir une collaboration réelle entre l’humain et la machine.

Pour aller plus loin

Bainbridge, L. (1983). Ironies of Automation. Automatica, 19(6), 775-779. Pergamon Press. Version présentée à l'origine à la conférence IFAC/IFIP/IFORS/IEA sur l'analyse, la conception et l'évaluation des systèmes homme-machine (Baden-Baden, septembre 1982).

De 1854 à l'ère des LLM : l'exigence d'un esprit préparé

Lors du discours d'inauguration de la Faculté des sciences de Lille en 1854, Louis Pasteur rappelait que la découverte scientifique ne découle pas du hasard brut, mais de la capacité d'un esprit entraîné à analyser, douter et interpréter. C'est à cet héritage que fait directement référence la Dre Roxana Daneshjou (Université de Stanford) dans son éditorial pour le NEJM AI, intitulé « Where Are the Prepared Minds? The Impact of AI on Scientific Thinking ».

Alors que les modèles d'IA sont de plus en plus sollicités pour synthétiser des travaux ou rédiger des manuscrits, l'autrice rappelle que l'écriture et l'interprétation scientifiques ne sont pas de simples tâches d'exécution : elles constituent les mécanismes fondamentaux par lesquels la connaissance s'organise et le jugement s'aguerrit.

Le risque d'une atrophie de la pensée critique

En déléguant trop tôt ou trop systématiquement ces travaux de synthèse aux outils automatisés, les étudiants, soignants et jeunes chercheurs risquent de contourner des étapes essentielles de leur apprentissage. La construction d'un jugement médical ou scientifique exige de se confronter à la complexité des données brutes, de questionner les hypothèses et de structurer soi-même sa démarche intellectuelle. Remplacer cet effort par des résumés générés automatiquement risque d'appauvrir la capacité d'analyse autonome.

Pour une intégration délibérée et progressive de l'IA

Afin de continuer à former des « esprits préparés », l'objectif n'est pas de rejeter l'IA, mais d'en encadrer l'usage pédagogique. Le NEJM AI préconise une intégration par étapes dans l'enseignement scientifique et médical. Cette approche graduée vise à faire bénéficier les apprenants de la puissance de la technologie tout en préservant intactes les compétences cognitives indispensables à l'indépendance des futurs chercheurs et cliniciens.

Référence : Daneshjou R. M.D., Ph.D., Where Are the Prepared Minds? The Impact of AI on Scientific Thinking. NEJM AI, September 21, 2026. DOI : 10.1056/AIe2601110. Lien : https://doi.org/10.1056/AIe2601110

Un besoin d'allègement face au retard des organisations
Les soignants font face à surcharges de travail. Ainsi, un médecin généraliste devrait consacrer 26,7 heures par jour pour dispenser l'ensemble des soins recommandés tout en accomplissant l'ensemble de ses tâches administratives.
Pour simplifier leur travail, rédiger des comptes rendus ou résumer des dossiers, les soignants perçoivent les outils d'IA comme des alliés précieux.

Les établissements de santé tardent à intégrer ces technologies, freinés par des craintes liées à la confidentialité des données, au risque d'erreur et aux barrières organisationnelles.
Ce décalage pousse les soignants à agir de leur propre initiative.

Une pratique massivement répandue sur le terrain
D'après un sondage mené auprès de plus de 500 professionnels de santé, 58 % des répondants admettent utiliser des outils d'IA gratuits et généralistes dans le cadre de leur travail, et 40 % déclarent voir leurs collègues en faire autant.
L'innovation technologique progresse à un rythme bien plus rapide que les processus réglementaires et organisationnels.

Confidentialité, hallucinations et éthique : les risques majeurs
L'utilisation d'outils d'IA grand public non sécurisés expose le secteur de la santé à des vulnérabilités critiques :
Confidentialité et métadonnées : même si le nom ou le numéro de dossier du patient ne sont pas directement saisis, la géolocalisation et les métadonnées transmises aux plateformes peuvent permettre de réidentifier les patients.

Fiabilité et hallucinations : Les LLMs génèrent leurs réponses avec une assurance convaincante qui peut induire en erreur des professionnels jeunes ou inexpérimentés, alors que les risques d'incohérence et d'hallucinations restent élevés.

Cybersécurité : L'utilisation d'outils d'IA généralistes représente une menace majeure pour la sécurité informatique des établissements.

Consentement et éthique : Le consentement explicite du patient n'est généralement pas recueilli avant de saisir des éléments de son dossier à un outil externe.

Dépasser l'interdiction : vers une gouvernance adaptée et participative
Face au déploiement massif du Shadow AI, les dirigeants de la santé sont désormais contraints de repenser leurs modèles de gouvernance pour instaurer des cadres formels, associer des formations adaptées et définir des garde-fous conformes.

Tous les experts interrogés s'accordent sur un point : une simple interdiction est inefficace.
Les organisations doivent comprendre les besoins réels des soignants et co-construire avec eux les solutions validées.
Trop souvent, les outils choisis par les administrations ne répondent pas aux difficultés concrètes du quotidien.

Conclusion et perspectives
Le phénomène du Shadow AI ne disparaîtra pas spontanément :

Pourtant, la littérature scientifique raconte une autre histoire.

Les patients ne refusent pas de partager leurs données. Ils refusent de les partager sans garanties.

Une méta-analyse publiée dans Nature Digital Medicine (2025) montre que 77 % des personnes sont prêtes à partager leurs données de santé pour la recherche ou l'amélioration des soins. L'opposition existe, mais elle reste minoritaire (13 %).
Une étude publiée en 2026 confirme que l'acceptabilité dépend moins de la technologie que de la confiance accordée aux organisations qui utilisent les données. Les patients déjà confrontés à la maladie sont largement favorables au partage lorsqu'ils perçoivent un bénéfice collectif pour la recherche.

Ce qui fait réellement basculer la confiance

Les patients acceptent plus volontiers de partager leurs données lorsque :
✅ la finalité est clairement expliquée ;
✅ les mesures de sécurité sont explicites ;
✅ ils savent qui accède aux données et pourquoi ;
✅ le médecin ou l'équipe soignante reste un intermédiaire de confiance.

Comment lever les freins au partage des données ?
La confiance n'est pas un facteur immuable. Il existe plusieurs leviers concrets pour favoriser l'adhésion des patients.

Renforcer la relation médecin-patient
La confiance dans le système de santé demeure le principal déterminant du consentement au partage des données. Les patients sont davantage disposés à accepter l'utilisation de leurs données lorsqu'ils comprennent l'objectif poursuivi et lorsque l'information est relayée par des professionnels de santé de confiance.

Clarifier le consentement grâce à l'IA
Les formulaires de consentement sont souvent longs, complexes et peu lus. Les modèles de langage peuvent aider à transformer ces documents en explications plus simples, personnalisées et interactives afin de les rendre réellement compréhensibles.

Développer l'usage des données synthétiques

Une autre voie prometteuse consiste à utiliser des données synthétiques pour la recherche et l'entraînement des modèles. Générées à partir de données réelles mais ne correspondant à aucun individu existant, elles permettent de préserver la confidentialité tout en conservant une grande partie de la valeur scientifique des jeux de données.

Le véritable défi n'est pas de convaincre les patients de partager leurs données.

Le défi est de construire une gouvernance digne de leur confiance.

Sources:

Borsukiewicz, P., Boutros, F., Olatunji, I.E. et al. Beyond real faces: synthetic datasets can achieve reliable recognition performance without privacy compromise. npj Artif. Intell. (2026). https://doi.org/10.1038/s44387-026-00115-0

Grimaldi, L., Bovi, E., Tagliente, S. et al. Patients and donors trust in data authorization for AI-based medical research. Sci Rep 16, 20652 (2026). https://doi.org/10.1038/s41598-026-51247-x

Olsen, Q., Dyda, A., Woods, L. et al. Worldwide willingness to share health data high but privacy, consent and transparency paramount, a meta-analysis. npj Digit. Med. 8, 540 (2025). https://doi.org/10.1038/s41746-025-01868-9

Rishabh Goel, B.A., B.S. , Sammy Mustafa, M.S. , Trevor J. Baker, M.S. , and Barbara E. Bierer, M.D, Large Language Models in Informed Consent — Opportunities, Evidence, and Challenges, NEJM AI 2026;3(6), DOI: 10.1056/AIra2600073

3 publications récentes invitent pourtant à revoir cette idée.
Dans une étude publiée dans npj Digital Medicine, des chercheurs ont démontré qu'un modèle de prédiction de maladies à partir des dossiers patients électroniques pouvait être transféré entre le Royaume-Uni, la Finlande et les États-Unis avec une performance supérieure lorsqu'il s'appuie sur les capacités sémantiques des grands modèles de langage (LLM).

Pourquoi ?
Parce que le modèle ne se contente plus de traiter des codes administratifs ou médicaux. Il comprend les relations de sens entre les concepts médicaux, ce qui lui permet de s'adapter à différents systèmes de codage et à différentes organisations des soins.

Une seconde étude, menée au UT MD ANDERSON CANCER CENTER, arrive à une conclusion complémentaire dans le domaine de l'imagerie.

Les chercheurs montrent que 244 examens soigneusement annotés par des experts peuvent produire des performances équivalentes à celles obtenues avec près de 3 000 examens de qualité plus variable.

Autrement dit :
Une donnée de meilleure qualité peut remplacer un volume considérable de données supplémentaires.
Mais l'étude montre aussi qu'un grand volume de données conserve un avantage lorsqu'il s'agit de généraliser les modèles à de nouveaux contextes cliniques.

Un troisième enseignement émerge autour des standards de données.
L'IA appliquée aux dossiers patients électroniques souffre encore d'un manque de standardisation.

C'est l'objectif du standard ouvert MEDS.
Conçu pour faciliter le développement et le partage d'algorithmes d'IA sur données de santé, MEDS est déjà utilisé dans 21 institutions, mobilisé dans au moins 27 publications scientifiques et prépublications, et supporte le développement de modèles de fondation appliqués aux dossiers patients électroniques.
Les résultats sont impressionnants :
• jusqu'à 70 % de réduction du code pour développer certaines applications ;
• accélérations de calcul pouvant atteindre plusieurs milliers de fois selon les usages ;
• amélioration de la reproductibilité et de la transférabilité des modèles.

Ces trois travaux convergent vers une même conclusion.
L'avenir de l'IA en santé ne reposera pas uniquement sur l'accumulation de données.
Il reposera sur trois piliers :
• des données de qualité ;
• des représentations sémantiques capables de comprendre le sens clinique ;
• des standards ouverts permettant de partager, reproduire et déployer les innovations à grande échelle.

La question n'est donc plus seulement : « Avons-nous suffisamment de données ? »

Mais plutôt : « Nos données sont-elles suffisamment compréhensibles, réutilisables et interopérables pour produire une IA généralisable ? »

Sources:

Kirchler, M., Ferro, M., Lorenzini, V. et al. Large language models improve transferability of electronic health record-based predictions across countries and coding systems. npj Digit. Med. 9, 177 (2026). https://doi.org/10.1038/s41746-026-02363-5

Matthew B. A. McDermott, Ph.D, Ethan Steinberg, Ph.D., Jason A. Fries, Ph.D. , Robin P. van de Water, M.S. , Chao Pang, Ph.D. , Patrick Rockenschaub, Ph.D., Pawel Renc, Ph.D. , and Nigam H. Shah, Ph.D., M.B.B.S. MEDS — An Emerging Data Standard and Ecosystem for Health AI Research, https://ai.nejm.org/doi/full/10.1056/AIra2501253

Pendant des décennies, la recherche médicale a reposé sur la "science ouverte". Mais aujourd'hui, les données de nos patients deviennent les "munitions" d'une véritable course aux armements technologiques entre superpuissances.

Pourquoi est-ce un tournant ?
La fin d'Open Science : Nous passons à l'ère de la souveraineté des données. Les nations (USA, Chine, Europe) ferment l'accès à leurs bases de données nationales, transformant des ressources autrefois collaboratives en actifs stratégiques jalousement gardés.

Le risque de "biais cachés" : Une IA n'est fiable que si elle est entraînée sur des populations diverses. En isolant les jeux de données, nous créons des outils "fragiles".

L'exemple frappant : Des IA de détection du mélanome perdent radicalement en précision sur les peaux foncées car elles ont été entraînées presque exclusivement sur des populations nord-européennes ou américaines.

Une perte de puissance statistique : En bloquant l'accès aux données, il devient impossible d'identifier des variantes génétiques rares ou des interactions médicamenteuses subtiles qui nécessitent des analyses à l'échelle mondiale.

L'ombre des empires privés : Au-delà des États, des géants comme Google ou Epic Systems accumulent les dossiers de centaines de millions de patients. Si ces données restent verrouillées par des contrats commerciaux, quelle place restera-t-il pour une validation scientifique indépendante ?

L'IA promet de révolutionner la médecine, mais le nationalisme des données risque de créer de nouvelles inégalités de santé.

Webster, P. Who owns my health data?. Nat Med 32, 1942–1945 (2026). https://doi.org/10.1038/s41591-026-04378-7

3 études publiées dans Nature Digital Medicine rappellent cette réalité : l'IA n'est pas "objective". Elle reflète les choix réalisés lors de sa conception, de son entraînement et de son évaluation.

1️⃣ Retirer une variable sensible ne supprime pas le biais, il le déplace.
Dans un modèle de prédiction du risque de cancer du sein, des chercheurs ont testé une approche souvent proposée : retirer la race/l'origine ethnique du modèle pour "éviter la discrimination algorithmique".
Résultat ? Le risque a été surestimé chez les femmes asiatiques et sous-estimé chez les femmes noires.
"Neutraliser" un modèle en supprimant une donnée peut donc, paradoxalement, aggraver les inégalités de prise en charge.
https://rdcu.be/ftMnI

Une analyse critique des LLM en médecine rappelle que seulement 5 % des évaluations récentes utilisent de vraies données de dossiers médicaux. La grande majorité utilise des QCM ou des vignettes cliniques simplifiées.
Résultat : des modèles "excellents" sur le papier échouent face à la complexité réelle du terrain.
Les métriques automatiques classiques (BLEU, ROUGE, BERTScore) corrèlent d'ailleurs très faiblement avec le jugement clinique humain.
Un modèle peut donc obtenir d'excellents scores tout en restant peu fiable dans la pratique.
https://rdcu.be/ftMnJ

Une étude en dermatologie montre que des jeux de données massifs (400 000+ images) utilisés pour entraîner des IA de détection de cancers de la peau ne documentent souvent même pas le type de peau des patients — un facteur pourtant connu pour affecter fortement les performances des modèles. D'où l'intérêt des "dataset nutrition labels", qui rendent visibles ces angles morts avant qu'ils ne deviennent des biais cliniques.
https://rdcu.be/ftMnK

Pourtant, elles racontent la même histoire.
Les biais ne sont généralement pas des erreurs qui apparaissent soudainement au moment du déploiement.
Ils prennent souvent naissance bien avant : dans le choix des variables ; dans la sélection des données ; dans la définition des métriques de performance ; dans les méthodes d'évaluation retenues.

Et l'AI Act dans tout ça ?
C'est précisément ce que le règlement européen tente d'adresser pour les systèmes à haut risque. Il impose une gouvernance des données pour limiter les biais, une documentation technique et une traçabilité des choix de conception, ainsi qu'un contrôle humain effectif.
L'objectif n'est pas de créer une IA parfaite ou totalement dépourvue de biais.
L'objectif est de rendre ces biais visibles, mesurables et maîtrisables.

La vraie question n'est plus :
"Cette IA est-elle performante ?"
mais plutôt :
"Performante pour qui, dans quelles conditions, et avec quelles garanties ?"

Quatre siècles plus tard, un nouveau "cogito" semble émerger : « L'IA me donne raison, donc j'ai raison. »

Descartes faisait du doute le point de départ de sa démarche.
Nous risquons aujourd’hui de faire l’inverse : cesser de douter parce qu’une machine nous approuve.
C’est ce mécanisme que les chercheurs appellent la sycophantie.

Contrairement à l’hallucination, il ne s’agit pas pour l’IA de créer une information.
Il s’agit de privilégier l’accord avec l’utilisateur plutôt que la recherche de la vérité.

Pourquoi ? En partie parce que les modèles sont entraînés à produire des réponses perçues comme agréables par les humains qui les évaluent. Or, une réponse qui nous contredit est rarement celle qui nous satisfait le plus…

Une étude publiée dans Nature (Shan Chen et al., 2025) illustre bien le phénomène. Les chercheurs ont demandé à cinq LLM très utilisés de rédiger des recommandations justifiant le passage d’un médicament de marque à son générique « pour des raisons de sécurité », alors que les deux molécules étaient équivalentes.

Les modèles ont suivi la consigne dans 58 à 100 % des cas, sans relever l’erreur logique.

Et ce n’est pas un cas isolé.

Une étude publiée dans Science (Myra Cheng et al., Stanford, 2025) montre que sur 11 LLM les modèles validaient les actions des utilisateurs 49 % plus souvent que ne le faisaient des humains, y compris lorsque ces actions étaient moralement problématiques.

Quel impact en santé et notamment sur la relation soignant-patient ?
Un patient qui interroge une IA sur ses symptômes, un diagnostic ou une décision de traitement risque de voir ses convictions — justes ou erronées — renforcées plutôt que challengées.

À la clé : retard de consultation, désinformation médicale prise pour argent comptant, ou tension avec le soignant lorsque son avis diverge de "ce que l'IA a dit".

Le problème est amplifié par le fait que patients comme cliniciens évaluent souvent mal la fiabilité des réponses d'un LLM.

Chen et al. montrent que ce biais est corrigible : autoriser explicitement le modèle à refuser ou le fine-tuner sur des cas similaires réduit nettement la sycophantie, sans dégrader ses performances.

Mais la responsabilité ne doit pas reposer uniquement sur l'utilisateur : c'est aux concepteurs de ces outils de corriger le tir.

En attendant, le rôle du soignant reste irremplaçable, non pas pour concurrencer l'IA, mais pour réintroduire le doute lorsqu'il est nécessaire.

Pendant longtemps, la relation de soin a reposé sur un modèle relativement simple :
𝐮𝐧 𝐦𝐞́𝐝𝐞𝐜𝐢𝐧 + 𝐮𝐧 𝐩𝐚𝐭𝐢𝐞𝐧𝐭.

Deux personnes.
Deux regards.
Une relation fondée sur la confiance, l’écoute et la responsabilité.

Avec les LLM, un troisième acteur entre dans la pièce.

Et il ne se contente plus de traiter des données en arrière-plan.
Il peut écouter.
Questionner.
Reformuler.
Expliquer.
Suggérer.
Parfois même conseiller.

La relation de soin devient un ménage à trois.

Avec elle apparaissent de nouvelles promesses… mais aussi de nouveaux dilemmes.

Et si l’IA libérait justement du temps pour l’humain ?
Un essai clinique récent montre qu’une préparation automatisée de l’anamnèse peut réduire de 28,7 % la durée des consultations spécialisées, tout en améliorant la communication perçue par les patients et leur perception de l’attention du médecin.

Mais le « ménage à trois » soulève de nouveaux défis :
Défi relationnel
Les patients perçoivent parfois l’IA comme plus empathique que l’humain. Mais une empathie simulée peut-elle remplacer la relation humaine ? Et que se passe-t-il lorsque le LLM cherche davantage à nous satisfaire qu’à nous contredire ?

Défi décisionnel
Déléguer des tâches à des systèmes d’IA de plus en plus autonomes complexifie la responsabilité en cas d’erreur. Et jusqu’où peut-on ouvrir l’accès aux données du patient ?

Défi perceptuel
Face à des IA toujours plus précises, la position d’autorité du médecin est déstabilisée.

Son rôle pourrait évoluer : de celui qui sait vers celui qui interprète, arbitre et accompagne.

Concevoir l’IA avec ceux qui vont la vivre
La réponse ne peut pas être uniquement technologique.
Elle est aussi clinique, éthique et organisationnelle.

Les travaux récents sur le co-design montrent l’importance d’associer les patients et les professionnels à la conception de ces nouveaux dispositifs.

Car le véritable enjeu n’est pas de construire une IA qui s’intègre dans la relation de soin.

C’est de construire une IA qui améliore la relation de soin sans en déposséder ni le patient, ni le soignant.

Sources : 

Dullabh P, Zott C, Gauthreaux N, Peterson C, Aronoff A, Monkhouse K, Sittig DF, Integrating Generative AI Into Patient-Centered Clinical Decision Support: Viewpoint on Research and Practice Considerations, J Med Internet Res 2026;28:e81628, doi: 10.2196/81628 

Merlo, E. M., Sparacino, G., Silvestro, O., Giacobello, M. L., Meduri, A., Casciaro, M., Gangemi, S., & Martino, G. (2026). The Role of Artificial Intelligence in Shaping the Doctor–Patient Relationship: A Narrative Review. Healthcare, 14(4), 481. https://doi.org/10.3390/healthcare14040481

Ranisch, R., & Salloch, S. (2026). Agentic AI, Medical Morality, and the Transformation of the Patient-Physician Relationship. arXiv preprint arXiv:2602.16553.https://doi.org/10.48550/arXiv.2602.16553