« L’humain dans la boucle » : c’est la promesse rassurante qui accompagne le déploiement des agents IA autonomes. Les algorithmes exécutent, l’humain supervise et garde la main. Mais sur le terrain, plus l’automatisation progresse, plus le rôle de l’humain devient difficile. Les risques ne disparaissent pas, ils se déplacent.
L’humain hérite de ce que la machine ne sait pas faire
Quand on conçoit un système pour éliminer l’erreur humaine, on laisse à l’opérateur les tâches que l’on n’a pas su automatiser. Cet assortiment arbitraire se réduit souvent à la gestion des cas limites et des défaillances imprévues, c’est-à-dire aux situations les plus difficiles.
Des compétences qui s’érodent, un contexte à reconstruire
Intervenir en cas de panne exige une grande expertise. Or des compétences pratiques et cognitives qu’on n’exerce plus au quotidien s’étiolent. Il faut aussi du temps pour reconstituer une représentation mentale de l’état du système. Lors d’une reprise en main sous pression, l’humain décide donc avec des informations partielles, au moment où l’enjeu est maximal.
Surveiller une machine plus rapide que soi : mission impossible
Exiger une vigilance continue sur des flux automatisés relève de l’illusion. Les études de vigilance montrent qu’on ne maintient pas son attention au-delà d’environ une demi-heure sur un système stable où les anomalies sont rares. Et lorsque l’automatisme traite à grande vitesse des critères complexes, l’humain ne peut pas vérifier en temps réel que ses décisions sont pertinentes. Il ne peut juger qu’à un « méta-niveau » si le résultat paraît acceptable.
Une analyse très actuelle… écrite en 1983
Ces mécanismes décrivent à la perfection les défis des agents IA d’aujourd’hui. Pourtant, ils ne viennent pas d’une étude récente : ils forment la thèse de « Ironies of Automation », publié il y a plus de quarante ans par la psychologue Lisanne Bainbridge dans la revue Automatica.
À retenir pour nos organisations. Plus un système automatique est performant, plus le rôle de l’humain peut devenir indispensable et complexe. Plutôt que de cantonner l’humain à une surveillance passive impraticable, le vrai défi est de concevoir une collaboration réelle entre l’humain et la machine.
Pour aller plus loin
Bainbridge, L. (1983). Ironies of Automation. Automatica, 19(6), 775-779. Pergamon Press. Version présentée à l'origine à la conférence IFAC/IFIP/IFORS/IEA sur l'analyse, la conception et l'évaluation des systèmes homme-machine (Baden-Baden, septembre 1982).