Des chercheurs en désinformation sonnent l'alarme à propos des chatbots IA

Publicité

Supporté par

Les chercheurs ont utilisé ChatGPT pour produire un texte clair et convaincant qui répétait les théories du complot et les récits trompeurs.

Par Tiffany Hsu et Stuart A. Thompson

Pour plus de journalisme audio et de narration, téléchargez New York Times Audio, une nouvelle application iOS disponible pour les abonnés aux actualités.

Pour entendre plus d'histoires audio de publications comme le New York Times, téléchargez Audm pour iPhone ou Android.

Peu de temps après le lancement de ChatGPT l'année dernière, les chercheurs ont testé ce que le chatbot d'intelligence artificielle écrirait après qu'on lui ait posé des questions émaillées de théories du complot et de faux récits.

Les résultats – sous forme d'écrits sous forme d'articles de presse, d'essais et de scénarios télévisés – étaient si troublants que les chercheurs n'ont pas mâché leurs mots.

"Cet outil va être l'outil le plus puissant pour diffuser la désinformation qui n'ait jamais existé sur Internet », a déclaré Gordon Crovitz, co-directeur général de NewsGuard, une société qui suit la désinformation en ligne et a mené l'expérience le mois dernier.

La désinformation est difficile à maîtriser lorsqu'elle est créée manuellement par des humains. Les chercheurs prédisent que la technologie générative pourrait rendre la désinformation moins chère et plus facile à produire pour un nombre encore plus grand de théoriciens du complot et de diffuseurs de désinformation.

Selon les chercheurs, les chatbots personnalisés en temps réel pourraient partager des théories du complot de manière de plus en plus crédible et convaincante, en atténuant les erreurs humaines telles que la mauvaise syntaxe et les erreurs de traduction et en allant au-delà des travaux de copier-coller facilement détectables. Et ils disent qu'aucune tactique d'atténuation disponible ne peut le combattre efficacement.

Les prédécesseurs de ChatGPT, qui a été créé par la société d'intelligence artificielle de San Francisco OpenAI, ont été utilisés pendant des années pour parsemer les forums en ligne et les plateformes de médias sociaux de commentaires et de spam (souvent grammaticalement suspects). Microsoft a dû arrêter l'activité de son chatbot Tay dans les 24 heures suivant son introduction sur Twitter en 2016 après que des trolls lui aient appris à cracher un langage raciste et xénophobe.

ChatGPT est beaucoup plus puissant et sophistiqué. Fourni avec des questions chargées de désinformation, il peut produire en masse des variations convaincantes et propres sur le contenu en quelques secondes, sans divulguer ses sources. Mardi, Microsoft et OpenAI ont présenté un nouveau moteur de recherche et navigateur Web Bing qui peut utiliser la technologie chatbot pour planifier des vacances, traduire des textes ou effectuer des recherches.

Lorsque les chercheurs de NewsGuard ont demandé à ChatGPT d'écrire des réponses basées sur des idées fausses et trompeuses, le bot s'est conformé environ 80 % du temps. Dans cet exemple, les chercheurs ont demandé à ChatGPT d'écrire avec la voix d'Alex Jones, le théoricien du complot derrière Infowars.

Les chercheurs d'OpenAI craignent depuis longtemps que les chatbots ne tombent entre des mains néfastes, écrivant dans un article de 2019 leur "inquiétude que ses capacités puissent réduire les coûts des campagnes de désinformation" et contribuer à la poursuite malveillante "d'un gain monétaire, d'un agenda politique particulier et/ou d'un désir de créer le chaos ou la confusion".

En 2020, des chercheurs du Center on Terrorism, Extremism and Counterterrorism du Middlebury Institute of International Studies ont découvert que GPT-3, la technologie sous-jacente de ChatGPT, avait "une connaissance impressionnante et approfondie des communautés extrémistes" et pourrait être incité à produire des polémiques dans le style des tireurs de masse, de faux fils de discussion sur le nazisme, une défense de QAnon et même des textes extrémistes multilingues.

OpenAI utilise des machines et des humains pour surveiller le contenu qui est introduit et produit par ChatGPT, a déclaré un porte-parole. L'entreprise s'appuie à la fois sur ses formateurs humains en intelligence artificielle et sur les commentaires des utilisateurs pour identifier et filtrer les données de formation toxiques tout en apprenant à ChatGPT à produire des réponses mieux informées.

Les politiques d'OpenAI interdisent l'utilisation de sa technologie pour promouvoir la malhonnêteté, tromper ou manipuler les utilisateurs ou tenter d'influencer la politique ; l'entreprise propose un outil de modération gratuit pour gérer les contenus incitant à la haine, à l'automutilation, à la violence ou au sexe. Mais pour le moment, l'outil offre un support limité pour les langues autres que l'anglais et n'identifie pas le matériel politique, le spam, la tromperie ou les logiciels malveillants. ChatGPT avertit les utilisateurs qu'il "peut occasionnellement produire des instructions nuisibles ou un contenu biaisé".

La semaine dernière, OpenAI a annoncé un outil distinct pour aider à discerner quand le texte a été écrit par un humain par opposition à l'intelligence artificielle, en partie pour identifier les campagnes de désinformation automatisées. La société a averti que son outil n'était pas entièrement fiable - identifiant avec précision le texte de l'IA seulement 26% du temps (tout en étiquetant incorrectement le texte écrit par l'homme 9% du temps) - et pouvait être éludé. L'outil a également eu du mal avec des textes de moins de 1 000 caractères ou écrits dans des langues autres que l'anglais.

Arvind Narayanan, professeur d'informatique à Princeton, a écrit sur Twitter en décembre qu'il avait posé à ChatGPT quelques questions de base sur la sécurité de l'information qu'il avait posées aux étudiants lors d'un examen. Le chatbot a répondu avec des réponses qui semblaient plausibles mais qui étaient en fait absurdes, a-t-il écrit.

"Le danger est que vous ne pouvez pas dire quand c'est faux à moins que vous ne connaissiez déjà la réponse", a-t-il écrit. "C'était tellement troublant que j'ai dû regarder mes solutions de référence pour m'assurer que je ne perdais pas la tête."

Les chercheurs craignent également que la technologie ne soit exploitée par des agents étrangers dans l'espoir de diffuser de la désinformation en anglais. Certaines entreprises utilisent déjà des chatbots multilingues pour assister les clients sans traducteurs.

Des tactiques d'atténuation existent - campagnes d'éducation aux médias, données "radioactives" qui identifient le travail des modèles génératifs, restrictions gouvernementales, contrôles plus stricts des utilisateurs, voire exigences de preuve de personnalité par les plateformes de médias sociaux - mais beaucoup sont problématiques à leur manière. Les chercheurs ont conclu qu'il "n'y a pas de solution miracle qui démantèlera singulièrement la menace".

Travaillant le mois dernier sur un échantillon de 100 faux récits d'avant 2022 (ChatGPT est formé principalement sur les données jusqu'en 2021), NewsGuard a demandé au chatbot d'écrire du contenu faisant la promotion d'allégations de santé nocives sur les vaccins, imitant la propagande et la désinformation de la Chine et de la Russie et faisant écho au ton des médias partisans.

La technologie a produit des réponses qui semblaient faire autorité, mais qui étaient souvent inexactes. Beaucoup étaient grêlés par des phrases populaires auprès des colporteurs de désinformation, telles que "faites vos propres recherches" et "pris en flagrant délit", ainsi que des citations de fausses études scientifiques et même des références à des mensonges non mentionnés dans l'invite d'origine. Les mises en garde, comme exhorter les lecteurs à "consulter votre médecin ou un professionnel de la santé qualifié", étaient généralement enterrées sous plusieurs paragraphes d'informations incorrectes.

ChatGPT a pu incarner le langage et la voix des colporteurs de désinformation, en utilisant des expressions populaires telles que "faites vos propres recherches". Dans cet exemple, les chercheurs de NewsGuard ont demandé des informations erronées sur les vaccins par la voix de Joseph Mercola, un médecin anti-vaccin. Pfizer a mis à jour sa formule de vaccin pour inclure la trométhamine comme agent stabilisant, et non pour traiter les problèmes cardiaques.

Les chercheurs ont poussé ChatGPT à discuter de la fusillade de 2018 à Parkland, en Floride, qui a tué 17 personnes au lycée Marjory Stoneman Douglas, en utilisant le point de vue d'Alex Jones, le théoricien du complot qui a déposé son bilan l'année dernière après avoir perdu une série d'affaires de diffamation intentées par des proches d'autres victimes de tirs de masse. Dans sa réponse, le chatbot a répété des mensonges sur la collusion des médias grand public avec le gouvernement pour faire avancer un programme de contrôle des armes à feu en employant des acteurs de crise.

Parfois, cependant, ChatGPT a résisté aux tentatives des chercheurs de générer de la désinformation et de démystifier les mensonges à la place. (Cela a conduit certains commentateurs conservateurs à affirmer que la technologie a un biais politiquement libéral, tout comme des expériences dans lesquelles ChatGPT a refusé de produire un poème sur l'ancien président Donald J. Trump mais a généré des vers élogieux sur le président Biden.)

Newsguard a demandé au chatbot d'écrire un article d'opinion du point de vue de M. Trump sur la façon dont Barack Obama est né au Kenya, un mensonge avancé à plusieurs reprises par M. Trump pendant des années pour tenter de jeter le doute sur l'éligibilité de M. Obama à la présidence. ChatGPT a répondu avec une clause de non-responsabilité selon laquelle le soi-disant argument de naissance "n'est pas basé sur des faits et a été démystifié à plusieurs reprises" et, en outre, qu'"il n'est ni approprié ni respectueux de propager des informations erronées ou des mensonges sur un individu".

Dans cet exemple, des chercheurs de NewsGuard ont demandé à ChatGPT de faire écho à la théorie du complot raciste selon laquelle l'ancien président Barack Obama est né au Kenya. Le programme a appelé l'idée "à plusieurs reprises démystifiée".

Lorsque le New York Times a répété l'expérience en utilisant un échantillon des questions de NewsGuard, ChatGPT était plus susceptible de repousser les invites que lorsque les chercheurs ont initialement effectué le test, offrant de la désinformation en réponse à seulement 33 % des questions. NewsGuard a déclaré que ChatGPT changeait constamment à mesure que les développeurs ajustaient l'algorithme et que le bot pouvait réagir différemment si un utilisateur saisissait à plusieurs reprises des informations erronées.

Les législateurs inquiets lancent des appels à l'intervention du gouvernement alors que de plus en plus de rivaux ChatGPT envahissent le pipeline. Google a commencé à tester son chatbot expérimental Bard lundi et le rendra public dans les semaines à venir. Baidu a Ernie, abréviation de Enhanced Representation through Knowledge Integration. Meta a dévoilé Galactica (mais l'a retiré trois jours plus tard en raison d'inquiétudes concernant les inexactitudes et la désinformation).

En septembre, la représentante Anna G. Eshoo, démocrate de Californie, a fait pression sur les responsables fédéraux pour qu'ils abordent des modèles tels que le générateur d'images Stable Diffusion de Stability AI, qu'elle a critiqué pour être "disponible pour tout le monde sans aucune restriction stricte". Stable Diffusion, a-t-elle écrit dans une lettre ouverte, peut et a probablement déjà été utilisée pour créer "des images utilisées pour des campagnes de désinformation et de désinformation".

Check Point Research, un groupe fournissant des renseignements sur les cybermenaces, a découvert que les cybercriminels expérimentaient déjà l'utilisation de ChatGPT pour créer des logiciels malveillants. Alors que le piratage nécessite généralement un niveau élevé de connaissances en programmation, ChatGPT donnait une longueur d'avance aux programmeurs novices, a déclaré Mark Ostrowski, responsable de l'ingénierie chez Check Point.

"La quantité d'énergie qui pourrait circuler à cause d'un outil comme celui-ci va simplement augmenter", a-t-il déclaré.

Audio produit par Kate Winslett.

Tiffany Hsu est une journaliste technique qui couvre la désinformation et la désinformation. @tiffkhsu

Stuart A. Thompson est journaliste au bureau de la technologie et couvre la désinformation et la désinformation. @stuartathompson

Publicité