De l’IA qui répond à l’IA qui agit

L’AI Act est-il adapté à cette nouvelle génération de systèmes ?

L’Omnibus numérique : simplifier sans perdre de vue les risques

En santé, six leviers pour passer des principes aux pratiques

La supervision humaine : une exigence qui suppose des compétences

Un AI Act dépassé ou un cadre à faire évoluer ?

• Les mécanismes actuels d’évaluation et de conformité sont-ils suffisants pour des systèmes capables d’enchaîner des actions ?
• Comment garantir une supervision humaine réelle, plutôt que simplement formelle ?
• Comment articuler réglementation, sécurité opérationnelle et formation des professionnels ?

Référence scientifique

Pour aller plus loin

« L’humain dans la boucle » : c’est la promesse rassurante qui accompagne le déploiement des agents IA autonomes. Les algorithmes exécutent, l’humain supervise et garde la main. Mais sur le terrain, plus l’automatisation progresse, plus le rôle de l’humain devient difficile. Les risques ne disparaissent pas, ils se déplacent.

L’humain hérite de ce que la machine ne sait pas faire

Quand on conçoit un système pour éliminer l’erreur humaine, on laisse à l’opérateur les tâches que l’on n’a pas su automatiser. Cet assortiment arbitraire se réduit souvent à la gestion des cas limites et des défaillances imprévues, c’est-à-dire aux situations les plus difficiles.

Des compétences qui s’érodent, un contexte à reconstruire

Intervenir en cas de panne exige une grande expertise. Or des compétences pratiques et cognitives qu’on n’exerce plus au quotidien s’étiolent. Il faut aussi du temps pour reconstituer une représentation mentale de l’état du système. Lors d’une reprise en main sous pression, l’humain décide donc avec des informations partielles, au moment où l’enjeu est maximal.

Surveiller une machine plus rapide que soi : mission impossible

Exiger une vigilance continue sur des flux automatisés relève de l’illusion. Les études de vigilance montrent qu’on ne maintient pas son attention au-delà d’environ une demi-heure sur un système stable où les anomalies sont rares. Et lorsque l’automatisme traite à grande vitesse des critères complexes, l’humain ne peut pas vérifier en temps réel que ses décisions sont pertinentes. Il ne peut juger qu’à un « méta-niveau » si le résultat paraît acceptable.

Une analyse très actuelle… écrite en 1983

Ces mécanismes décrivent à la perfection les défis des agents IA d’aujourd’hui. Pourtant, ils ne viennent pas d’une étude récente : ils forment la thèse de « Ironies of Automation », publié il y a plus de quarante ans par la psychologue Lisanne Bainbridge dans la revue Automatica.

À retenir pour nos organisations. Plus un système automatique est performant, plus le rôle de l’humain peut devenir indispensable et complexe. Plutôt que de cantonner l’humain à une surveillance passive impraticable, le vrai défi est de concevoir une collaboration réelle entre l’humain et la machine.

Pour aller plus loin

Bainbridge, L. (1983). Ironies of Automation. Automatica, 19(6), 775-779. Pergamon Press. Version présentée à l'origine à la conférence IFAC/IFIP/IFORS/IEA sur l'analyse, la conception et l'évaluation des systèmes homme-machine (Baden-Baden, septembre 1982).

De 1854 à l'ère des LLM : l'exigence d'un esprit préparé

Lors du discours d'inauguration de la Faculté des sciences de Lille en 1854, Louis Pasteur rappelait que la découverte scientifique ne découle pas du hasard brut, mais de la capacité d'un esprit entraîné à analyser, douter et interpréter. C'est à cet héritage que fait directement référence la Dre Roxana Daneshjou (Université de Stanford) dans son éditorial pour le NEJM AI, intitulé « Where Are the Prepared Minds? The Impact of AI on Scientific Thinking ».

Alors que les modèles d'IA sont de plus en plus sollicités pour synthétiser des travaux ou rédiger des manuscrits, l'autrice rappelle que l'écriture et l'interprétation scientifiques ne sont pas de simples tâches d'exécution : elles constituent les mécanismes fondamentaux par lesquels la connaissance s'organise et le jugement s'aguerrit.

Le risque d'une atrophie de la pensée critique

En déléguant trop tôt ou trop systématiquement ces travaux de synthèse aux outils automatisés, les étudiants, soignants et jeunes chercheurs risquent de contourner des étapes essentielles de leur apprentissage. La construction d'un jugement médical ou scientifique exige de se confronter à la complexité des données brutes, de questionner les hypothèses et de structurer soi-même sa démarche intellectuelle. Remplacer cet effort par des résumés générés automatiquement risque d'appauvrir la capacité d'analyse autonome.

Pour une intégration délibérée et progressive de l'IA

Afin de continuer à former des « esprits préparés », l'objectif n'est pas de rejeter l'IA, mais d'en encadrer l'usage pédagogique. Le NEJM AI préconise une intégration par étapes dans l'enseignement scientifique et médical. Cette approche graduée vise à faire bénéficier les apprenants de la puissance de la technologie tout en préservant intactes les compétences cognitives indispensables à l'indépendance des futurs chercheurs et cliniciens.

Référence : Daneshjou R. M.D., Ph.D., Where Are the Prepared Minds? The Impact of AI on Scientific Thinking. NEJM AI, September 21, 2026. DOI : 10.1056/AIe2601110. Lien : https://doi.org/10.1056/AIe2601110

1. Le constat démographique et financier : un modèle sanitaire à bout de souffle
Le système de santé français s'est construit au milieu du XXᵉ siècle autour d'une logique essentiellement curative et réparatrice, conçue pour prendre en charge des pathologies aiguës ou des situations de dépendance déjà installées. Or, la transition démographique modifie profondément la donne : en 2025, pour la première fois dans notre histoire, les personnes de plus de 60 ans représentent 28,5 % de la population française, devenant plus nombreuses que les moins de 18 ans. À horizon 2070, la France comptera plus de 20 millions de personnes âgées de plus de 65 ans.

Si l'espérance de vie à la naissance continue de progresser, l'espérance de vie en bonne santé stagne autour de 64 ans. Seuls 45 % des Français de plus de 65 ans se déclarent aujourd'hui en bonne santé.
Sans changement de cap, le surcoût financier lié au simple vieillissement démographique et aux maladies chroniques alourdira les dépenses de santé de +32 milliards d'euros d'ici 2040 et de +41 milliards d'euros à horizon 2050.
De plus, le secteur fait face à une pénurie majeure de ressources humaines, la France ne comptant que 2,1 professionnels du grand âge pour 100 seniors, contre 5 en moyenne au sein des pays de l'OCDE.

2. Le virage stratégique : promouvoir la longévité en santé et les gérosciences
Pour enrayer cette trajectoire, l'Institut Montaigne préconise de s'inspirer des réussites obtenues dans la lutte contre le cancer.
Le rapport recommande de se fixer un objectif national de rattrapage de l'espérance de vie sans incapacité à horizon 2035-2040, piloté par un Institut national de la Longévité.
Ce changement de paradigme repose sur quatre leviers fondamentaux :

• L'essor des gérosciences : Comprendre et cibler les mécanismes biologiques fondamentaux du vieillissement en amont des pathologies pour réduire l'écart entre l'âge civil et l'âge biologique.
• Le passage à l'échelle d'ICOPE dès 50 ans : Généraliser le programme de soins intégrés de l'OMS afin d'évaluer les 6 dimensions de la capacité intrinsèque (mobilité, cognition, nutrition, vision, audition, état psychologique) lors de chaque contact avec le système de soins.
• Le déploiement du numérique et de l'IA : Édifier une plateforme digitale nationale unique, interopérable et centrée sur la donnée de santé, l'intelligence artificielle et les jumeaux numériques pour assurer un suivi longitudinal des parcours de vie.
• L'adaptation des compétences professionnelles : Former massivement les professionnels de santé aux gérosciences et aux outils de la médecine de précision.

Le rapport de l'Institut Montaigne démontre que la longévité en santé constitue un enjeu sociétal, économique et médical majeur. Mais cette transition ne pourra s'incarner sans des professionnels formés, capables de manier les outils de pointe de la biologie du vieillissement et des technologies numériques

Le rapport remis au Premier ministre par le député et médecin Cyrille Isaac-Sibille, intitulé « Construire un système de prévention primordiale : Replacer la santé sous de bonnes influences », dresse un diagnostic lucide sur le système de santé français.
Si la France excelle dans la prise en charge curative et la réparation, elle fait face à une dégradation préoccupante de la santé globale de sa population et à un vieillissement démographique qui interroge la soutenabilité de son modèle social.

Pour les acteurs de la santé et de l'innovation, ce document constitue une grille de lecture essentielle des grands indicateurs et des leviers d'action de la longévité.

1. Le paradoxe français de la longévité : Vivre plus longtemps, mais dans quelle autonomie ?
Au cours du XXᵉ siècle, la France a enregistré un gain exceptionnel de 30 ans d'espérance de vie à la naissance :
En 1900, l'espérance de vie s'élevait à environ 45 ans pour les hommes et 49 ans pour les femmes.
Elle atteint aujourd'hui 79,4 ans pour les hommes et 85,3 ans pour les femmes.
Toutefois, cette progression cache une fragilité majeure : l'espérance de vie sans incapacité (en bonne santé) plafonne à 64 ans pour les femmes et à 63 ans et 6 mois pour les hommes. Il existe ainsi un écart de près de 20 ans entre la durée de vie globale et la durée de vie préservée de toute limitation fonctionnelle.
Dans le même temps, les pathologies au cours de la vieillesse explosent : le nombre de personnes reconnues en Affection de Longue Durée (ALD) est passé de 8 millions au milieu des années 2000 à 14 millions aujourd'hui, avec une projection de l'Assurance maladie anticipant 18 millions de bénéficiaires d'ici 2035.

2. Les déterminants de santé : 80 % de la longévité se joue en amont du soin
Le rapport rappelle un principe fondamental trop souvent occulté : seuls 20 % de notre santé relèvent du système de soin, tandis que 80 % dépendent des déterminants sociaux, environnementaux, économiques et comportementaux.
Cette réalité s'illustre par de profondes disparités territoriales et socio-économiques face à la durée de vie :
Gradient social et de revenu : L'écart d'espérance de vie entre les 5 % les plus modestes et les 5 % les plus aisés s'élève à 13 ans chez les hommes et 9 ans chez les femmes. À 50 ans, le risque annuel de décès est 7 fois plus élevé chez les hommes les plus modestes.
Impact du niveau d'études et de la catégorie professionnelle : À 35 ans, un homme cadre vit en moyenne 5,3 ans de plus qu'un ouvrier, et l'écart entre un diplômé du supérieur et une personne sans diplôme atteint 8 ans.

3. Prévenir la perte d'autonomie : L'impératif d'une approche multifactorielle
Pour illustrer les limites des politiques actuelles face au vieillissement, le rapport analyse l'exemple de la prévention des chutes chez les personnes âgées de 65 ans et plus :
En 2024, Santé publique France a dénombré 174 824 hospitalisations et 20 148 décès par chute, représentant la première cause de décès accidentel chez les seniors et générant un coût annuel de 900 millions d'euros pour le système de soin.
L'objectif du « Plan antichute 2022-2024 » visant à réduire de 20 % ces événements n'a pas été atteint, en raison d'une prise en charge trop sectorielle et tardive.
Le rapport démontre qu'une stratégie efficace de longévité ne peut reposer sur une réponse médicale unique : elle exige une action multifactorielle précoce combinant activité physique adaptée, correction de la vision et de l'audition, nutrition, aménagement de l'environnement domestique et lutte contre l'isolement social.

4. Innovation, IA et données croisées : Les nouveaux leviers de la prévention personnalisée
Face à ce constat, le rapport Isaac-Sibille souligne l'émergence décisive d'une prévention personnalisée soutenue par l'intelligence artificielle et l'analyse de l'exposome.
Pour passer d'une médecine réactive à un véritable pilotage de la longévité en santé, plusieurs priorités scientifiques et technologiques sont dégagées :
Le croisement des données : Articuler les données médico-administratives de soins avec les données environnementales, sociales et de mode de vie pour cartographier les risques et les vulnérabilités.
L'évaluation des biomarqueurs et de l'exposome : Mesurer l'impact cumulé des expositions (air, alimentation, bruit, stress, produits chimiques) tout au long du parcours de vie afin de cibler les facteurs de risque modifiables bien avant l'apparition des symptômes.
La personnalisation des interventions : Développer des outils d'aide au pilotage et de modélisation permettant d'accompagner chaque individu vers un vieillissement en pleine autonomie.

En conclusion
Le rapport Cyrille Isaac-Sibille marque une étape majeure dans la prise de conscience institutionnelle : pour préserver notre modèle social et la qualité de vie des citoyens, la prévention primordiale n'est plus une option, mais le pilier central sur lequel doit s'appuyer la médecine de demain.

Pour consulter le rapport : https://drive.google.com/file/d/1mxpOZoIl5trnRmIYD50QMWF5ejX4UlMB/view

Un besoin d'allègement face au retard des organisations
Les soignants font face à surcharges de travail. Ainsi, un médecin généraliste devrait consacrer 26,7 heures par jour pour dispenser l'ensemble des soins recommandés tout en accomplissant l'ensemble de ses tâches administratives.
Pour simplifier leur travail, rédiger des comptes rendus ou résumer des dossiers, les soignants perçoivent les outils d'IA comme des alliés précieux.

Les établissements de santé tardent à intégrer ces technologies, freinés par des craintes liées à la confidentialité des données, au risque d'erreur et aux barrières organisationnelles.
Ce décalage pousse les soignants à agir de leur propre initiative.

Une pratique massivement répandue sur le terrain
D'après un sondage mené auprès de plus de 500 professionnels de santé, 58 % des répondants admettent utiliser des outils d'IA gratuits et généralistes dans le cadre de leur travail, et 40 % déclarent voir leurs collègues en faire autant.
L'innovation technologique progresse à un rythme bien plus rapide que les processus réglementaires et organisationnels.

Confidentialité, hallucinations et éthique : les risques majeurs
L'utilisation d'outils d'IA grand public non sécurisés expose le secteur de la santé à des vulnérabilités critiques :
Confidentialité et métadonnées : même si le nom ou le numéro de dossier du patient ne sont pas directement saisis, la géolocalisation et les métadonnées transmises aux plateformes peuvent permettre de réidentifier les patients.

Fiabilité et hallucinations : Les LLMs génèrent leurs réponses avec une assurance convaincante qui peut induire en erreur des professionnels jeunes ou inexpérimentés, alors que les risques d'incohérence et d'hallucinations restent élevés.

Cybersécurité : L'utilisation d'outils d'IA généralistes représente une menace majeure pour la sécurité informatique des établissements.

Consentement et éthique : Le consentement explicite du patient n'est généralement pas recueilli avant de saisir des éléments de son dossier à un outil externe.

Dépasser l'interdiction : vers une gouvernance adaptée et participative
Face au déploiement massif du Shadow AI, les dirigeants de la santé sont désormais contraints de repenser leurs modèles de gouvernance pour instaurer des cadres formels, associer des formations adaptées et définir des garde-fous conformes.

Tous les experts interrogés s'accordent sur un point : une simple interdiction est inefficace.
Les organisations doivent comprendre les besoins réels des soignants et co-construire avec eux les solutions validées.
Trop souvent, les outils choisis par les administrations ne répondent pas aux difficultés concrètes du quotidien.

Conclusion et perspectives
Le phénomène du Shadow AI ne disparaîtra pas spontanément :

Pourtant, la littérature scientifique raconte une autre histoire.

Les patients ne refusent pas de partager leurs données. Ils refusent de les partager sans garanties.

Une méta-analyse publiée dans Nature Digital Medicine (2025) montre que 77 % des personnes sont prêtes à partager leurs données de santé pour la recherche ou l'amélioration des soins. L'opposition existe, mais elle reste minoritaire (13 %).
Une étude publiée en 2026 confirme que l'acceptabilité dépend moins de la technologie que de la confiance accordée aux organisations qui utilisent les données. Les patients déjà confrontés à la maladie sont largement favorables au partage lorsqu'ils perçoivent un bénéfice collectif pour la recherche.

Ce qui fait réellement basculer la confiance

Les patients acceptent plus volontiers de partager leurs données lorsque :
✅ la finalité est clairement expliquée ;
✅ les mesures de sécurité sont explicites ;
✅ ils savent qui accède aux données et pourquoi ;
✅ le médecin ou l'équipe soignante reste un intermédiaire de confiance.

Comment lever les freins au partage des données ?
La confiance n'est pas un facteur immuable. Il existe plusieurs leviers concrets pour favoriser l'adhésion des patients.

Renforcer la relation médecin-patient
La confiance dans le système de santé demeure le principal déterminant du consentement au partage des données. Les patients sont davantage disposés à accepter l'utilisation de leurs données lorsqu'ils comprennent l'objectif poursuivi et lorsque l'information est relayée par des professionnels de santé de confiance.

Clarifier le consentement grâce à l'IA
Les formulaires de consentement sont souvent longs, complexes et peu lus. Les modèles de langage peuvent aider à transformer ces documents en explications plus simples, personnalisées et interactives afin de les rendre réellement compréhensibles.

Développer l'usage des données synthétiques

Une autre voie prometteuse consiste à utiliser des données synthétiques pour la recherche et l'entraînement des modèles. Générées à partir de données réelles mais ne correspondant à aucun individu existant, elles permettent de préserver la confidentialité tout en conservant une grande partie de la valeur scientifique des jeux de données.

Le véritable défi n'est pas de convaincre les patients de partager leurs données.

Le défi est de construire une gouvernance digne de leur confiance.

Sources:

Borsukiewicz, P., Boutros, F., Olatunji, I.E. et al. Beyond real faces: synthetic datasets can achieve reliable recognition performance without privacy compromise. npj Artif. Intell. (2026). https://doi.org/10.1038/s44387-026-00115-0

Grimaldi, L., Bovi, E., Tagliente, S. et al. Patients and donors trust in data authorization for AI-based medical research. Sci Rep 16, 20652 (2026). https://doi.org/10.1038/s41598-026-51247-x

Olsen, Q., Dyda, A., Woods, L. et al. Worldwide willingness to share health data high but privacy, consent and transparency paramount, a meta-analysis. npj Digit. Med. 8, 540 (2025). https://doi.org/10.1038/s41746-025-01868-9

Rishabh Goel, B.A., B.S. , Sammy Mustafa, M.S. , Trevor J. Baker, M.S. , and Barbara E. Bierer, M.D, Large Language Models in Informed Consent — Opportunities, Evidence, and Challenges, NEJM AI 2026;3(6), DOI: 10.1056/AIra2600073

3 publications récentes invitent pourtant à revoir cette idée.
Dans une étude publiée dans npj Digital Medicine, des chercheurs ont démontré qu'un modèle de prédiction de maladies à partir des dossiers patients électroniques pouvait être transféré entre le Royaume-Uni, la Finlande et les États-Unis avec une performance supérieure lorsqu'il s'appuie sur les capacités sémantiques des grands modèles de langage (LLM).

Pourquoi ?
Parce que le modèle ne se contente plus de traiter des codes administratifs ou médicaux. Il comprend les relations de sens entre les concepts médicaux, ce qui lui permet de s'adapter à différents systèmes de codage et à différentes organisations des soins.

Une seconde étude, menée au UT MD ANDERSON CANCER CENTER, arrive à une conclusion complémentaire dans le domaine de l'imagerie.

Les chercheurs montrent que 244 examens soigneusement annotés par des experts peuvent produire des performances équivalentes à celles obtenues avec près de 3 000 examens de qualité plus variable.

Autrement dit :
Une donnée de meilleure qualité peut remplacer un volume considérable de données supplémentaires.
Mais l'étude montre aussi qu'un grand volume de données conserve un avantage lorsqu'il s'agit de généraliser les modèles à de nouveaux contextes cliniques.

Un troisième enseignement émerge autour des standards de données.
L'IA appliquée aux dossiers patients électroniques souffre encore d'un manque de standardisation.

C'est l'objectif du standard ouvert MEDS.
Conçu pour faciliter le développement et le partage d'algorithmes d'IA sur données de santé, MEDS est déjà utilisé dans 21 institutions, mobilisé dans au moins 27 publications scientifiques et prépublications, et supporte le développement de modèles de fondation appliqués aux dossiers patients électroniques.
Les résultats sont impressionnants :
• jusqu'à 70 % de réduction du code pour développer certaines applications ;
• accélérations de calcul pouvant atteindre plusieurs milliers de fois selon les usages ;
• amélioration de la reproductibilité et de la transférabilité des modèles.

Ces trois travaux convergent vers une même conclusion.
L'avenir de l'IA en santé ne reposera pas uniquement sur l'accumulation de données.
Il reposera sur trois piliers :
• des données de qualité ;
• des représentations sémantiques capables de comprendre le sens clinique ;
• des standards ouverts permettant de partager, reproduire et déployer les innovations à grande échelle.

La question n'est donc plus seulement : « Avons-nous suffisamment de données ? »

Mais plutôt : « Nos données sont-elles suffisamment compréhensibles, réutilisables et interopérables pour produire une IA généralisable ? »

Sources:

Kirchler, M., Ferro, M., Lorenzini, V. et al. Large language models improve transferability of electronic health record-based predictions across countries and coding systems. npj Digit. Med. 9, 177 (2026). https://doi.org/10.1038/s41746-026-02363-5

Matthew B. A. McDermott, Ph.D, Ethan Steinberg, Ph.D., Jason A. Fries, Ph.D. , Robin P. van de Water, M.S. , Chao Pang, Ph.D. , Patrick Rockenschaub, Ph.D., Pawel Renc, Ph.D. , and Nigam H. Shah, Ph.D., M.B.B.S. MEDS — An Emerging Data Standard and Ecosystem for Health AI Research, https://ai.nejm.org/doi/full/10.1056/AIra2501253

Pendant des décennies, la recherche médicale a reposé sur la "science ouverte". Mais aujourd'hui, les données de nos patients deviennent les "munitions" d'une véritable course aux armements technologiques entre superpuissances.

Pourquoi est-ce un tournant ?
La fin d'Open Science : Nous passons à l'ère de la souveraineté des données. Les nations (USA, Chine, Europe) ferment l'accès à leurs bases de données nationales, transformant des ressources autrefois collaboratives en actifs stratégiques jalousement gardés.

Le risque de "biais cachés" : Une IA n'est fiable que si elle est entraînée sur des populations diverses. En isolant les jeux de données, nous créons des outils "fragiles".

L'exemple frappant : Des IA de détection du mélanome perdent radicalement en précision sur les peaux foncées car elles ont été entraînées presque exclusivement sur des populations nord-européennes ou américaines.

Une perte de puissance statistique : En bloquant l'accès aux données, il devient impossible d'identifier des variantes génétiques rares ou des interactions médicamenteuses subtiles qui nécessitent des analyses à l'échelle mondiale.

L'ombre des empires privés : Au-delà des États, des géants comme Google ou Epic Systems accumulent les dossiers de centaines de millions de patients. Si ces données restent verrouillées par des contrats commerciaux, quelle place restera-t-il pour une validation scientifique indépendante ?

L'IA promet de révolutionner la médecine, mais le nationalisme des données risque de créer de nouvelles inégalités de santé.

Webster, P. Who owns my health data?. Nat Med 32, 1942–1945 (2026). https://doi.org/10.1038/s41591-026-04378-7

3 études publiées dans Nature Digital Medicine rappellent cette réalité : l'IA n'est pas "objective". Elle reflète les choix réalisés lors de sa conception, de son entraînement et de son évaluation.

1️⃣ Retirer une variable sensible ne supprime pas le biais, il le déplace.
Dans un modèle de prédiction du risque de cancer du sein, des chercheurs ont testé une approche souvent proposée : retirer la race/l'origine ethnique du modèle pour "éviter la discrimination algorithmique".
Résultat ? Le risque a été surestimé chez les femmes asiatiques et sous-estimé chez les femmes noires.
"Neutraliser" un modèle en supprimant une donnée peut donc, paradoxalement, aggraver les inégalités de prise en charge.
https://rdcu.be/ftMnI

Une analyse critique des LLM en médecine rappelle que seulement 5 % des évaluations récentes utilisent de vraies données de dossiers médicaux. La grande majorité utilise des QCM ou des vignettes cliniques simplifiées.
Résultat : des modèles "excellents" sur le papier échouent face à la complexité réelle du terrain.
Les métriques automatiques classiques (BLEU, ROUGE, BERTScore) corrèlent d'ailleurs très faiblement avec le jugement clinique humain.
Un modèle peut donc obtenir d'excellents scores tout en restant peu fiable dans la pratique.
https://rdcu.be/ftMnJ

Une étude en dermatologie montre que des jeux de données massifs (400 000+ images) utilisés pour entraîner des IA de détection de cancers de la peau ne documentent souvent même pas le type de peau des patients — un facteur pourtant connu pour affecter fortement les performances des modèles. D'où l'intérêt des "dataset nutrition labels", qui rendent visibles ces angles morts avant qu'ils ne deviennent des biais cliniques.
https://rdcu.be/ftMnK

Pourtant, elles racontent la même histoire.
Les biais ne sont généralement pas des erreurs qui apparaissent soudainement au moment du déploiement.
Ils prennent souvent naissance bien avant : dans le choix des variables ; dans la sélection des données ; dans la définition des métriques de performance ; dans les méthodes d'évaluation retenues.

Et l'AI Act dans tout ça ?
C'est précisément ce que le règlement européen tente d'adresser pour les systèmes à haut risque. Il impose une gouvernance des données pour limiter les biais, une documentation technique et une traçabilité des choix de conception, ainsi qu'un contrôle humain effectif.
L'objectif n'est pas de créer une IA parfaite ou totalement dépourvue de biais.
L'objectif est de rendre ces biais visibles, mesurables et maîtrisables.

La vraie question n'est plus :
"Cette IA est-elle performante ?"
mais plutôt :
"Performante pour qui, dans quelles conditions, et avec quelles garanties ?"