Moral Machine, vous connaissez ? Et si, demain, une voiture autonome n’avait d’autre choix que de tuer ses passagers ou des piétons dans la configuration d’un accident inévitable, comment et qui devrait-elle choisir ? Directeur de recherche au CNRS et à l’origine du projet, Jean-François Bonnefon, qui a souhaité confronter les personnes à cette réalité, nous en dit plus sur Moral Machine.

Docteur, pouvez-vous d’abord vous présenter en quelques mots ?
Je suis directeur de recherche au CNRS, par conséquent chercheur public, et je travaille parallèlement à la Toulouse School of Economics mais je ne suis pas économiste. Je suis docteur en psychologie cognitive, résident à la TSE. Je travaille sur le thème général de la rationalité. Mon objectif est d’abord de déterminer si les gens prennent des décisions rationnelles et ensuite identifier les possibles sources d’irrationalité dans les décisions. Je m’intéresse aux échanges économiques mais aussi au jugement éthique.

"Des résultats totalement inespérés"

Est-ce la raison pour laquelle Moral Machine a vu le jour ? Pouvez-nous parler de la genèse de ce projet ?
On a commencé à y penser début 2016, au moment où l’on travaillait sur une publication pour Science, parue en juin de la même année. Pour la première fois, nous abordions le sujet des voitures autonomes qui pourraient avoir à prendre des décisions en cas d’accidents inévitables, quand aucune trajectoire ne peut sauver tout le monde et que, de ce fait, le véhicule est obligé de choisir des victimes avant l’accident. Et dans cette publication entre autres, on montrait qu’il y avait un champ de consensus, parmi les personnes interrogées, pour dire que la voiture devrait moralement sauver le plus grand nombre dans une situation comme celle-là. On retrouvait ce résultat encore et encore sauf, et c’est ce qui nous a intrigués, dans un cas de figure où le scénario indiquait qu’il y avait un enfant dans la voiture. Là, les personnes interrogées étaient beaucoup plus incertaines. On aurait dit que les gens ne pesaient pas toutes les vies de la même façon, que sauver le plus grand nombre était un principe important. Mais ce résultat, avec cet enfant qui avait donc pesé très lourd dans les préférences morales des personnes, nous laissait penser qu’il fallait explorer plus largement cette question. Est-ce que, dans ces choix-là, les gens pèsent toutes les vies de la même façon ? On s’est aperçu que cela devenait vite compliqué. Il y a les enfants, bien sûr, l’âge à prendre en compte donc, mais aussi le sexe et bien d’autres caractéristiques. Et comme on compare des groupes de gens dans les scénarios, la combinatoire explose très très vite. Dès que l’on commence à introduire de la variation dans les scénarios, on se retrouve à avoir des millions et des millions de combinaisons possibles. Et pour explorer toutes ces combinaisons, nous avons conclu qu’il nous fallait un outil pour collecter des données de masse, d’où un site Web. C’est comme ça que Moral Machine est né. C’est un endroit où les gens peuvent se connecter facilement pour rapidement donner leurs opinions sur tous ces scénarios très compliqués. En un an, nous approchons donc les 40 millions de réponses, la preuve que cela a très bien fonctionné !


Vous attendiez-vous justement à un tel engouement de la part des personnes interrogées ?
C’est allé plus vite que ce que l’on pensait ! Nous avions cependant essayé de mettre dès le départ tous les atouts de notre côté. On avait travaillé d’arrache-pied pour que le site soit prêt le jour de la publication de notre première article dans Science. On souhaitait pouvoir mentionner le site lors de toutes les interviews que l’on donnait à propos de cette première étude, comme une suite à celle-ci. Et cela a donné des résultats totalement inespérés. Quand l’article est sorti, les interviews se sont comptés par centaine et nous nous sommes aperçus que cela fonctionnait très bien au démarrage. Dès le premier jour, les serveurs ont saturé en raison de la fréquentation sur le site. Puis, nous avons eu plusieurs fois la chance d’être relayés par des personnes avec une audience très très vaste. Le jour où PewDiePie (plus de 57 millions d’abonnés sur Youtube, ndlr) a fait une vidéo sur Moral Machine, on a eu des retombées spectaculaires...

Pensez-vous qu’il y avait une attente importante du grand public sur le sujet de l’éthique dans l’Intelligence Artificielle ?
Il y a de ça, oui, mais aussi une certaine fascination. Dès que l’on commence à faire des scénarios sur Moral Machine, on se rend compte que les principes que l’on avait en tête au début ne fonctionnent plus très rapidement. C’est une expérience que beaucoup de gens ont eu sur le site : se dire au début qu’il y a des règles, qu’il faut les respecter, avant de se rendre compte qu’il y a des scénarios où ils sont coincés, où les principes qu’ils pensaient adopter ne conviennent plus. Je crois que ça a aussi beaucoup joué : cette épreuve pédagogique qui était pour chacun de se rendre compte que c’était beaucoup plus compliqué que ça avait l’air.

Moral Machine, c’est faire finalement faire le choix du moins pire...
Faire le choix du moins pire et réaliser qu’on fait ça par moments à l’intuition parce qu’on a du mal sinon à rester cohérent avec soi-même, avec les principes que l’on avait en tête au départ. Au volant, la question ne se pose pas pour l’humain qui va réagir à l’instinct.

“Un consensus général" pour sauver en priorité les enfants


Quels enseignements avez-vous tirés sur les 40 millions de réponses que vous avez reçues sur le site Internet Moral Machine ?
Je ne peux pas vous en parler beaucoup puisque nous sommes encore sous embargo presse pour le moment. En revanche, je peux au moins mentionner les trois facteurs qui nous intéressaient : les grandes tendances, les facteurs individuels, c'est-à-dire si les caractéristiques individuelles des personnes qui nous répondent prédisent leurs préférences, et les variations géographiques et culturelles, à savoir si l’on peut observer des groupes de pays qui seraient par exemple plus proches que d’autres. Là-dessus, et pour en revenir à la première chose dont je vous parlais sur les grandes tendances, il y a un consensus général sur les enfants. Les personnes mettent une valeur très spéciale sur la vie des enfants. Et c’est important à savoir. En Allemagne, par exemple, le gouvernement a décidé de mandater une commission composée de philosophes et de spécialistes de l’éthique pour réfléchir à cette question. Et la seule conclusion claire de cette commission était qu’ils leur semblaient impossibles de discriminer entre deux personnes sur la base de l'âge dans une telle situation. Une conclusion qui va donc être très difficile à faire accepter à l’opinion publique qui elle, on l’a vu, sauverait en priorité les enfants. S’il y a vraiment une leçon à tirer des réponses reçues, c’est que les enfants sont très spéciaux dans cette situation dans l’esprit des gens. On pourrait avoir avoir des conflits entre ce qu’un gouvernement voudrait faire et ce que son opinion publique souhaiterait...

Pouvez-vous nous parler de ce que vous appelez la voiture “utilitariste” ?
C’était d’abord un mot que j’avais employé pour décrire simplement la voiture autonome qui sauverait le plus nombre de vies en cas d’accidents inévitables. Bien sûr, avec les résultats de Moral Machine, on peut pousser le principe un peu plus loin. Une voiture “utilitariste”, ce n’est jamais qu’une voiture qui décide en fonction des conséquences, plus qu’en fonction d’une règle qui ignorerait les conséquences. Par exemple, une voiture qui sauverait toujours ses passagers quels que soient les conséquences, ce ne serait plus une voiture utilitariste.

Here is one of Moral Machine scenarios in the event of an unavoidable accident with an autonomous car. And you, what would you do?

Mais les gens seraient-ils prêts à acheter une voiture autonome “utilitariste”, qui ne sauverait pas forcément ses passagers en cas d’accident inévitable ?
Cela occasionne effectivement des conflits internes chez les personnes. Les gens qui nous répondent disent que, moralement, la voiture doit prendre en compte les conséquences et sauver le plus grand nombre. Mais, en tant que consommateurs, pour ce qui est de la voiture qu’ils voudraient acheter, ils préféreraient quand même qu’elle ne les sacrifie pas ou qu’elle s’interdise de les sacrifier… Mais ce n’est pas un paradoxe, il faut juste surmonter son intérêt égoïste pour faire ce qui nous semble le mieux si tout le monde s’y met aussi. C’est la même chose avec la feuille d’impôts. On voit bien que ce serait mieux pour l’intérêt commun que tout le monde paie ses impôts mais chacun voit aussi un intérêt égoïste à ne pas le faire ! Pareil pour la voiture : on se rend bien compte que si tout le monde avait une voiture qui sauverait le plus grand nombre, ce serait mieux. Mécaniquement, cela voudrait dire aussi que l’on aurait moins de risques individuellement. Mais cela veut dire de surmonter cet égoïsme qui nous ferait acheter une voiture qui nous sauverait uniquement.

Justement, des constructeurs de voitures autonomes, comme Tesla par exemple, ont-ils un intérêt à vendre des “voitures utilitaristes” ? Cela ne freinerait-ils justement par leur vente de mettre à disposition une voiture qui ne sauverait pas forcément ses passagers ?
D’abord, nous n’avons pas pour objectif de dicter les politiques publiques ou les décisions des constructeurs en fonction des réponses données par certaines populations sur Moral Machine. Ensuite, je pense qu’il n’y a pas un constructeur qui ait envie de répondre à ces questions-là de façon individualisée. On a vu l’exemple de Mercedes l'an passé. L’un de ses managers avait laissé entendre que les voitures autonomes Mercedes sauveraient leurs passagers. Ce n’était pas une déclaration officielle mais il y avait eu aussitôt un tollé général. Dans ces situations de dilemmes, et ce n’est pas pour rien que ça s’appelle ainsi, il n’y a pas de bonnes solutions. Et quelle que soit la solution que l’on retient, on va forcément indigner une partie de la population. Pour un constructeur, ce n’est pas intéressant de prendre des décisions qui amèneraient à rendre les voitures un peu plus autonomes mais qui occasionneraient des dommages à leur image tel qu’il souhaiterait finalement vendre des voitures conventionnelles... Ce sont vraiment des situations où les constructeurs ne peuvent pas gagner. On n’a pas à leur demander de faire ce genre de choix.

"Anticiper les résistances"


Et Moral Machine n’a pas cette vocation-là ?
Non, nous ne sommes pas là pour dire : “voici la liste des choses que votre population attend !” Moral Machine est là pour qu’un régulateur ou un gouvernement soit capable de faire des choix éclairés. Si certains choix semblent légitimes mais qu'ils vont finalement à l’encontre de l’opinion publique, il faut qu’un régulateur ou un gouvernement le sache. Ça ne veut pas dire faire ce que l’opinion publique veut, par exemple dans des domaines où elle n’est pas forcément bien informée, mais anticiper les résistances et les endroits où il y aura le plus de pression, connaitre les motifs impopulaires, savoir les identifier et les anticiper.

Vous sentez-vous écouté par les gouvernements, sentez-vous un soutien particulier ?
C’est encore un peu tôt pour le dire, nous n’en sommes qu’au début de l’analyse des résultats.

Quelles sont justement les étapes pour Moral Machine ?
On est en train de rédiger le rapport et on espère assez vite avoir une nouvelle publication. Malheureusement, le processus est en général assez long.


blog comments powered by Disqus