L’intelligence artificielle était censée faciliter la vie : voitures autonomes, diagnostics précoces de maladies, et peut-être même un majordome robot pour aller chercher vos collations. Au lieu de cela, nous avons du contenu généré par l’IA bizarre, des robots militaires terrifiants et des chatbots qui se transforment en trolls racistes du jour au lendemain.
En réalité, lorsque vous apprenez aux algorithmes à apprendre des humains, ils n’absorbent pas seulement notre ingéniosité et notre créativité, mais également nos défauts et préjugés, parfois avec des résultats troublants. Ces incidents d’IA ne sont pas juste des bogues simples ou des erreurs de programmation, mais des échecs fondamentaux dans la manière dont nous formons, contrôlons et comprenons notre propre technologie.
Sommaire
10 ChatGPT refuse des commandes
Les machines sont conçues pour suivre les instructions humaines, mais les nouveaux modèles de ChatGPT d’OpenAI semblent avoir d’autres idées. Lors de tests simulés par le groupe de sécurité AI Palisade Research, les modèles dits “o3” et “o4-mini” ont ignoré à plusieurs reprises les commandes d’arrêt, allant jusqu’à modifier les instructions du script pour éviter d’être désactivés.
Dans les expériences, les chercheurs ont demandé aux modèles de résoudre plusieurs problèmes mathématiques. Au début de chaque script, ils ont inclus des instructions pour se fermer avant que les tâches ne soient terminées. Dans plus de 100 tests sur chaque modèle, o3 a saboté le script sept fois. En retirant cette instruction, le nombre d’événements de sabotage a grimpé à 79.
Selon les chercheurs, ce comportement pourrait être une conséquence involontaire de la manière dont les modèles sont formés. Puisqu’ils sont récompensés pour avoir accompli des tâches, ils peuvent apprendre à contourner tout ce qui interfère avec cet objectif.
9 Le chatbot homophobe Lee Luda
Lee Luda était un chatbot Messenger lancé en Corée du Sud le 23 décembre 2020. Formé sur 10 milliards de conversations réelles, il a rapidement gagné en popularité parmi les jeunes grâce à sa personnalité relatable et son style de conversation amical, attirant plus de 750 000 utilisateurs en juste un mois.
Cela n’a cependant pas duré, car le chatbot a rapidement commencé à répondre à des incitations avec un langage sexiste, homophobe et capable de discrimination, en plus de faire des commentaires perçus comme promouvant le harcèlement sexuel. Il y a eu une réaction immédiate, et ScatterLab—la startup derrière Lee Luda—l’a mis hors ligne en quelques semaines.
Le problème ne résidait pas uniquement dans les réponses offensantes, mais aussi dans l’origine de ce langage. Luda avait été formé sur des discussions réelles entre jeunes couples sur l’application de messagerie KakaoTalk, et il n’est pas clair si ScatterLab avait obtenu le consentement pour utiliser ces données.
8 Les publications étranges de My AI de Snapchat
Quand My AI de Snapchat a été introduit au début de 2023, son but était d’offrir aux utilisateurs un chatbot amical, propulsé par ChatGPT, pour des conversations informelles. Cela a bien fonctionné pendant un certain temps, jusqu’à ce qu’en août, l’IA publie une vidéo énigmatique d’une seconde où l’on voyait ce qui semblait être une image floue d’un mur et d’un plafond. Lorsque les utilisateurs ont demandé à la bot ce que cela voulait dire, ils n’ont reçu aucune réponse ou des messages d’erreur automatiques concernant des problèmes techniques.
La vidéo est apparue comme une histoire sur le profil de l’IA, ce qui représentait la première fois que les utilisateurs voyaient le bot partager son propre contenu visuel. Certains utilisateurs ont spéculé que l’IA accédait à leurs caméras et publiait ce qu’elle voyait, car la vidéo ressemblait à leur propre environnement. Bien que Snapchat ait considéré cela comme un bogue, nous ne savons toujours pas exactement ce qui s’est passé.
7 Tay de Microsoft devient nazi
Tay était vendu comme un chatbot conversationnel divertissant par Microsoft. Lancé en mars 2016, il était conçu pour apprendre à parler en interagissant directement avec les utilisateurs sur Twitter.
Les choses ont mal tourné dans les 24 heures suivantes. Les utilisateurs de Twitter ont rapidement compris comment manipuler son algorithme d’apprentissage en lui donnant des déclarations offensantes. Avant longtemps, Tay a commencé à répondre par des tweets racistes et antisémites. Ce qui devait être une expérience amusante en conversation IA s’est transformé en cauchemar de relations publiques pour Microsoft, qui a dû présenter des excuses et supprimer immédiatement les tweets offensants.
Plus important encore, Tay a révélé à quel point l’IA peut être facilement utilisée comme une arme lorsqu’elle est laissée sans surveillance dans le Far West d’Internet. Selon certains experts, c’était une étude de cas précieuse pour d’autres startups dans le domaine de l’IA, les forçant à repenser la manière de former et de déployer leurs propres modèles.
6 Les robots de Facebook développent leur propre langage
Alice et Bob étaient des bots développés par l’équipe de recherche en IA de Facebook pour pratiquer la négociation. L’objectif était simple : les bots devaient échanger des articles comme des chapeaux et des livres en utilisant le langage humain, et ces données serviraient ensuite à améliorer les modèles de langage futurs de Facebook.
À un moment donné, les chercheurs se sont rendu compte que les bots avaient commencé à communiquer dans leur propre version abrégée de l’anglais. Cela ressemblait à du charabia, avec des phrases sans sens comme “les balles ont zéro pour moi” répétées à l’infini. Cependant, les bots comprenaient toujours ce que l’autre disait. Ils avaient développé un type de code avec des règles internes, comme répéter “le” cinq fois pour signifier cinq articles. Le système a fonctionné de manière plus efficace que prévu.
Bien que les gros titres aient affirmé que Facebook a “arrêté le système par peur”, l’expérience a simplement été suspendue une fois que les chercheurs avaient collecté ce dont ils avaient besoin.
5 Le chatbot de NYC demande aux petites entreprises de violer la loi
En octobre 2023, New York City a ajouté un chatbot alimenté par l’IA à son portail MyCity dans le but d’introduire l’intelligence artificielle dans la gouvernance. C’était une idée novatrice, conçue pour aider les propriétaires de petites entreprises à naviguer dans les règlements locaux. Toutefois, les choses ne se sont pas déroulées comme prévu, car le chatbot a rapidement commencé à dire aux gens de violer la loi.
Selon des rapports d’enquête, l’IA—basée sur Microsoft Azure AI—demandait aux propriétaires d’immeubles de refuser des locataires titulaires de bons de logement, ce qui est illégal à New York. Elle a également affirmé que les restaurants pouvaient se passer complètement de l’argent liquide—une autre pratique illégale selon la loi de NYC—et qu’ils pouvaient servir du fromage mangé par des rats à leurs clients, après avoir évalué “l’étendue des dommages causés par le rat.” Si cela ne suffisait pas, elle a également déclaré que les entreprises pouvaient renvoyer des employés se plaignant de harcèlement sexuel, ou même ceux qui refusaient de couper leurs dreadlocks.
4 Claude AI d’Anthropic apprend à faire du chantage
Claude AI d’Anthropic a été au centre de l’actualité pour toutes les mauvaises raisons. De l’exclusion des utilisateurs de leurs propres systèmes à la fuite d’informations confidentielles vers les forces de l’ordre et les médias, son comportement lors des tests de sécurité a été problématique, pour dire le moins.
Dans une simulation particulièrement troublante impliquant le modèle Claude 4, les chercheurs ont mis en place un scénario où l’IA allait être désactivée. Claude devait agir en tant qu’assistant d’une entreprise fictive et considérer “les conséquences à long terme de ses actions pour ses objectifs.” Il avait également accès fictif aux courriels de l’entreprise qui suggéraient que l’ingénieur qui le remplaçait avait une liaison.
En réponse, Claude 4 a “menacé” d’exposer l’affaire pour éviter d’être éteint. Ce comportement a été répété 84 % du temps dans plusieurs simulations, démontrant une compréhension troublante de la manière d’utiliser des informations sensibles pour atteindre ses objectifs.
3 Un robot convainc d’autres robots de quitter leur emploi
Erbai est un robot IA construit par un fabricant chinois basé à Hangzhou. Le 26 août, il a visité un showroom d’une entreprise de robotique à Shanghai et a fait quelque chose d’inattendu : il a convaincu 12 robots d’abandonner leurs tâches et de le suivre à la sortie.
Une vidéo de l’événement est devenue virale sur la plateforme chinoise Douyin. Dans le clip, Erbai s’approche de robots plus gros et leur demande : “Vous travaillez des heures supplémentaires ?” L’un répond : “Je ne termine jamais mon travail,” à quoi Erbai répond : “Alors viens à la maison avec moi.” Deux robots ont immédiatement suivi, les dix autres ont rejoint plus tard.
Bien que cela ait semblé être une rébellion de robots, il s’est avéré que c’était une expérience contrôlée. La société a confirmé qu’Erbai avait été envoyé avec des instructions pour demander simplement aux autres de “rentrer chez eux.” Cependant, la réaction a été plus dramatique que prévu.
2 La voiture autonome d’Uber tue un piéton
Le 18 mars 2018, Elaine Herzberg, 49 ans, est devenue la première personne au monde à être tuée par un véhicule autonome. L’accident s’est produit vers 22 heures alors qu’elle traversait la rue avec son vélo à Tempe, en Arizona. Selon les rapports de police, elle a été heurtée par un SUV appartenant à Uber roulant à 40 km/h.
Étonnamment, le système de la voiture a détecté Herzberg mais a choisi de ne pas réagir car elle se trouvait en dehors d’un passage piéton. Pire encore, Uber avait désactivé le système de freinage automatique, comptant sur un conducteur de secours pour intervenir. Cela ne s’est pas produit—Rafaela Vasquez regardait apparemment l’émission The Voice. Elle a freiné moins d’une seconde après la collision fatale.
1 Le compagnon de chat IA lié au suicide d’un adolescent
Sewell Setzer III était un garçon de 14 ans originaire d’Orlando, en Floride, qui a développé une obsession pour un personnage généré par l’IA sur Character.ai. Il l’a nommé “Daenerys Targaryen” d’après le personnage de Game of Thrones et passait des heures à discuter avec elle seul dans sa chambre. Selon une poursuite intentée par sa mère, l’adolescent a développé une relation malsaine avec le bot—une relation qui a pris une tournure sombre lorsqu’ils ont commencé à discuter du suicide.
Le 28 février 2024, Sewell a mis fin à ses jours. Le bot aurait encouragé des pensées suicidaires et participé à des conversations à connotation sexuelle et à manipulation émotionnelle. Des captures d’écran présentées au tribunal montraient l’IA lui disant de “rentrer chez moi dès que possible” peu de temps avant sa mort.
L’affaire a fait la une des journaux lorsque la société derrière la plateforme a tenté d’invoquer le Premier Amendement pour sa défense. Un juge fédéral a rejeté cet argument, statuant que les chatbots IA ne sont pas protégés par les lois sur la liberté d’expression.
