Le moral machine de l’IA
20 MOTS DE L’IA FORMATIVE, LE PETIT TEMNA EXPLIQUE
L’avènement de l’intelligence artificielle soulève de nombreuses questions éthiques, notamment en ce qui concerne la prise de décision morale par les machines.
Le concept de « moral machine », développé par des chercheurs du MIT, est devenu un point focal dans ce débat.
Le dilemme du tramway revisité
Le dilemme a été introduit par l’article du philosophe Philippa Foot en 1967 (https://philpapers.org/archive/footpo-2.pdf).
Un tramway hors de contrôle fonce sur une voie où se trouvent 5 personnes qui seront inévitablement tuées si rien n’est fait. Le conducteur a la possibilité d’actionner un levier qui déviera le tramway sur une voie secondaire où se trouve une seule personne qui sera alors tué.
La question de ce dilemme est de savoir s’il est moralement acceptable de sacrifier 1 vie pour en sauver 5 ?
Iyad Rahwan adapte le célèbre dilemme au contexte des véhicules autonomes (Machine behaviour, Nature, 2019).
Comment l’IA doit-elle choisir en cas d’accident inévitable ?
Quel choix éthique ?
Défis et controverses
L’implémentation de l’éthique dans l’IA soulève de nombreux défis :
Qui est responsable des décisions prises par l’IA ?
Selon quelle modalité ? On parle des biais algorithmiques, mais aussi quels que soient les choix qui biaise socialement le modèle, mais le modèle est loin d’être universel, le relativisme culturel pose la question que Philippe Muray appelait l’Empire du bien.
Qui décide le Bien ?
La gouvernance même est éthiquement interrogée.
La loi de Goodhart
L’économiste Charles Goodhart a construit la loi de Goodhart : « Lorsque une mesure devient un objectif, elle cesse d’être une bonne mesure ».
Le choix même de construire une politique des KPI présente des biais. Face à la création d’indicateur, les acteurs adaptent leur comportement pour maximiser cet indicateur, au détriment de la finalité.
La création des examens, conduit une pédagogie de l’examen pour améliorer ses métriques de la qualité de la formation au détriment de l’apprentissage lui-même. Charles Goodhart nous met en garde sur l’illusion des indicateurs.
L’IA même rationalisée autour de KPI développe une éthique de la performance, mais la performance est-elle éthique ?
Prenons, un exemple dans l’Ethique à Nicomaque, Aristote dit que la vie, la morale est inséparable du bonheur, c’est son but ultime.
L’IA peut très bien stimuler les zones du bonheur dans le cerveau pour augmenter la jouissance de l’homme.
Mieux, James Older et Peter Milner (1954) ont monté sur des rats autonomes, qui pouvaient stimuler son système de récompense pour développer du plaisir, les rats appuyait des milliers de fois par jour oubliant, de se nourrir ou de boire et finissant par mourir de plaisir.
Quand la mesure devient l’objectif, même de bonheur, elle devient une mauvaise mesure.
L’IA qui triche
L’IA a aussi un système de récompense, mais numérique : la récompense est le bon résultat et l’algorithme optimise la récompense et elle favoriser les actions qui maximisent la récompense future.
En 2016, dans le jeu Coastrunners, une course de bateau, l’IA a été entraîner pour gagner, lors de l’exécution l’IA a trouver le moyen de gagner un maximum d’objet sans finir la course dans le respect de sa programmation.
C’est ce qu’on appelle le wireheading.
Une manipulation, un détournement de l’objectif initial.
Le philosophe Nick Bostrom qu’il y a un danger à miser sur l’IA qui n’est intéressée qu’à développer son précieux, sa récompense. Et si l’homme présentait un risque de perturbation future quelle serait l’attitude de la machine ?
Il est nécessaire de protéger l’IA d’elle-même.
Le moral machine est intéressant, car il réinterroge notre propre notion de moral.
La morale est sociale et historique, ce qui permet des ajustements linéaires ou non, là où le moral machine est solide pour reprendre la terminologie de Zygmunt Bauman.
Tant que l’homme est le maître de la morale, l’IA s’adaptera à sa vision, mais dans un monde de plus en plus erratique, il est parfois tentant de faire une société techniciste qui s’appuie sur la statistique et la raison pour se faire morale.
C’est oublier la poésie de l’homme qui fait toute la différence à celle de la machine.
Fait à Paris, le 31 janvier 2025
@StephaneDIEB pour vos commentaires sur X