C'est une idée rassurante...mais fausse.
3 études publiées dans Nature Digital Medicine rappellent cette réalité : l'IA n'est pas "objective". Elle reflète les choix réalisés lors de sa conception, de son entraînement et de son évaluation.
1️⃣ Retirer une variable sensible ne supprime pas le biais, il le déplace.
Dans un modèle de prédiction du risque de cancer du sein, des chercheurs ont testé une approche souvent proposée : retirer la race/l'origine ethnique du modèle pour "éviter la discrimination algorithmique".
Résultat ? Le risque a été surestimé chez les femmes asiatiques et sous-estimé chez les femmes noires.
"Neutraliser" un modèle en supprimant une donnée peut donc, paradoxalement, aggraver les inégalités de prise en charge.
https://rdcu.be/ftMnI
Une analyse critique des LLM en médecine rappelle que seulement 5 % des évaluations récentes utilisent de vraies données de dossiers médicaux. La grande majorité utilise des QCM ou des vignettes cliniques simplifiées.
Résultat : des modèles "excellents" sur le papier échouent face à la complexité réelle du terrain.
Les métriques automatiques classiques (BLEU, ROUGE, BERTScore) corrèlent d'ailleurs très faiblement avec le jugement clinique humain.
Un modèle peut donc obtenir d'excellents scores tout en restant peu fiable dans la pratique.
https://rdcu.be/ftMnJ
Une étude en dermatologie montre que des jeux de données massifs (400 000+ images) utilisés pour entraîner des IA de détection de cancers de la peau ne documentent souvent même pas le type de peau des patients — un facteur pourtant connu pour affecter fortement les performances des modèles. D'où l'intérêt des "dataset nutrition labels", qui rendent visibles ces angles morts avant qu'ils ne deviennent des biais cliniques.
https://rdcu.be/ftMnK
Pourtant, elles racontent la même histoire.
Les biais ne sont généralement pas des erreurs qui apparaissent soudainement au moment du déploiement.
Ils prennent souvent naissance bien avant : dans le choix des variables ; dans la sélection des données ; dans la définition des métriques de performance ; dans les méthodes d'évaluation retenues.
Et l'AI Act dans tout ça ?
C'est précisément ce que le règlement européen tente d'adresser pour les systèmes à haut risque. Il impose une gouvernance des données pour limiter les biais, une documentation technique et une traçabilité des choix de conception, ainsi qu'un contrôle humain effectif.
L'objectif n'est pas de créer une IA parfaite ou totalement dépourvue de biais.
L'objectif est de rendre ces biais visibles, mesurables et maîtrisables.
La vraie question n'est plus :
"Cette IA est-elle performante ?"
mais plutôt :
"Performante pour qui, dans quelles conditions, et avec quelles garanties ?"