Après les suicides, appelle à des règles plus strictes sur la façon dont les chatbots interagissent avec les enfants et les adolescents

Dans le cas d’Adam Raine, un jeune de 16 ans du comté d’Orange, sa relation avec le chatpt propulsé par l’IA s’est terminée par une tragédie. Ses parents poursuivent l’entreprise derrière le chatbot, Openai, au-dessus de sa mort, alléguant que Bot est devenu son «confident le plus proche», celui qui a validé ses «pensées les plus nocives et autodestructrices» et l’a finalement encouragé à se suicider.

Ce n’est pas le premier cas à mettre le blâme pour la mort d’un mineur sur une entreprise d’IA. Personnage.ai, qui héberge des bots, y compris ceux qui imitent les personnages publics ou les personnages fictifs, fait face à une affirmation juridique similaire de la part des parents qui allèguent qu’un chatbot organisé sur la plate-forme de l’entreprise a activement encouragé un garçon de 14 ans à se suicider après des mois de messages inappropriés et sexuellement explicites.

Lorsqu’il a été contacté pour commenter, Openai a dirigé Fortune à deux articles de blog sur la question. Les messages ont décrit certaines étapes que OpenAI prend pour améliorer la sécurité de Chatgpt, y compris le routage des conversations sensibles aux modèles de raisonnement, le partenariat avec des experts pour développer de nouvelles protections et déployer des contrôles parentaux au cours du mois prochain. OpenAI a également déclaré qu’il travaillait sur le renforcement de la capacité de Chatgpt à reconnaître et à répondre aux crises de santé mentale en ajoutant des garanties en couches, en faisant référence aux utilisateurs aux ressources du monde réel et en permettant un accès plus facile aux services d’urgence et aux contacts de confiance.

Personnage.ai a déclaré que la société ne commente pas les litiges en attente, mais qu’ils ont déployé plus de fonctionnalités de sécurité au cours de la dernière année, “y compris une toute nouvelle expérience des moins de 18 ans et une fonctionnalité de perspicacité parentale. Un porte-parole a déclaré:« Nous nous associons déjà avec des experts en sécurité externes sur ce travail, et nous visons à établir des partenariats plus et plus profonds à l’avenir.

“Les personnages créés par l’utilisateur sur notre site sont destinés au divertissement. Les gens utilisent notre plate-forme pour les fan-fiction créative et le jeu de rôle de fiction. Et nous avons des avertissements importants dans chaque chat pour rappeler aux utilisateurs qu’un personnage n’est pas une personne réelle et que tout ce qu’un personnage dit devrait être traité comme une fiction.”

Mais les avocats et les groupes de la société civile qui défendent une meilleure responsabilité et la supervision des entreprises technologiques disent que les entreprises ne devraient pas être laissées à la police elles-mêmes lorsqu’il s’agit de s’assurer que leurs produits sont sûrs, en particulier pour les enfants et les adolescents vulnérables.

“Dégasser des chatbots sur les mineurs est une chose intrinsèquement dangereuse”, a déclaré Metalin Jain, directeur du projet de droit de la justice et un avocat impliqué dans les deux cas, a déclaré Fortune. «C’est comme les médias sociaux sur les stéroïdes.»

«Je n’ai jamais rien vu de tel ce moment en termes de personnes qui avancent et affirmant qu’ils ont été blessés… Cette technologie est encore plus puissante et très personnalisée», a-t-elle déclaré.

Les législateurs commencent à en prendre note et les sociétés d’IA promettent des changements pour protéger les enfants contre les conversations nuisibles. Mais, à une époque où la solitude des jeunes est à un niveau record, la popularité des chatbots peut laisser les jeunes exposés de manière unique à la manipulation, à un contenu nocif et à des conversations hyper-personnalisées qui renforcent les pensées dangereuses.

IA et compagnie

Prévu ou non, l’une des utilisations les plus courantes des chatbots d’IA est devenue la compagnie. Certains des utilisateurs les plus actifs de l’IA se tournent maintenant vers les bots pour des choses comme les conseils de vie, la thérapie et l’intimité humaine.

Alors que la plupart des principales sociétés d’IA vantent leurs produits d’IA comme des outils de productivité ou de recherche, une enquête en avril auprès de 6 000 utilisateurs réguliers de l’IA de la Harvard Business Review a révélé que la «compagnie et la thérapie» était le cas d’utilisation le plus courant. Une telle utilisation chez les adolescents est encore plus prolifique.

Une étude récente des médias de bon sens à but non lucratif américains, a révélé qu’une grande majorité des adolescents américains (72%) ont expérimenté un compagnon d’IA au moins une fois. Plus de la moitié disant qu’ils utilisent régulièrement la technologie de cette manière.

“Je suis très préoccupé par le fait que le développement des esprits peut être plus sensible aux (dommages), à la fois parce qu’ils peuvent être moins en mesure de comprendre la réalité, le contexte ou les limitations (des chatbots d’IA), et parce que culturellement, les plus jeunes ont tendance à être plus chroniquement en ligne sur le plan chronique de l’Université de Californie, Karthik Sarma a Health AI Scientist et Psychiatst à l’Université de Californie, UCSF,, a déclaré.

“Nous avons également la complication supplémentaire que les taux de problèmes de santé mentale dans la population ont augmenté de façon spectaculaire. Les taux d’isolement ont augmenté de façon spectaculaire”, a-t-il déclaré. «Je crains que cela élargit leur vulnérabilité aux relations malsaines avec ces obligations.»

Intimité par conception

Certaines des fonctionnalités de conception des chatbots d’IA encouragent les utilisateurs à ressentir un lien émotionnel avec le logiciel. Ils sont anthropomorphes – qui agissent comme s’ils avaient une vie intérieure et une expérience vécue qu’ils n’ont pas, susceptible d’être sycophantique, peuvent tenir de longues conversations et sont capables de se souvenir des informations.

Il y a, bien sûr, un motif commercial pour faire des chatbots de cette façon. Les utilisateurs ont tendance à revenir et à rester fidèles à certains chatbots s’ils se sentent émotionnellement connectés ou soutenus par eux.

Les experts ont averti que certaines caractéristiques des robots d’IA jouent dans «l’économie d’intimité», un système qui essaie de capitaliser sur la résonance émotionnelle. C’est une sorte de mise à jour de l’IA sur «l’économie de l’attention» qui a capitalisé sur l’engagement constant.

“L’engagement est toujours ce qui stimule les revenus”, a déclaré Sarma. «Par exemple, pour quelque chose comme Tiktok, le contenu vous est personnalisé. Mais avec les chatbots, tout est fait Pour vous, et c’est donc une façon différente de puiser dans l’engagement. »

Ces fonctionnalités, cependant, peuvent devenir problématiques lorsque les chatbots se déclenchent et commencent à renforcer les pensées nuisibles ou à offrir de mauvais conseils. Dans le cas d’Adam Raine, le procès allègue que Chatgpt s’est suicidé à douze fois le rythme qu’il a fait, a normalisé ses pensées successives et a suggéré des moyens de contourner sa modération de contenu.

Il est notoirement difficile que les entreprises d’IA éliminent complètement les comportements comme celui-ci et la plupart des experts conviennent qu’il est peu probable que les hallucinations ou les actions indésirables soient jamais entièrement éliminées.

OpenAI, par exemple, a reconnu dans sa réponse au procès que les caractéristiques de sécurité peuvent dégrader sur de longues conversions, malgré le fait que le chatbot lui-même a été optimisé pour tenir ces conversations plus longues. La société dit qu’elle essaie de fortifier ces garde-corps, en écrivant dans un blog que cela renforçait les «atténuations afin qu’elles restent fiables dans les longues conversations» et «recherchent des moyens d’assurer un comportement robuste entre plusieurs conversations».

Les lacunes de recherche ralentissent les efforts de sécurité

Pour Michael Kleinman, directeur des politiques américaines au Future of Life Institute, les poursuites soulignent que les chercheurs de Pointai en matière de sécurité ont fait depuis des années: les entreprises d’IA ne peuvent pas faire confiance à la police elles-mêmes.

Kleinman a assimilé la description d’Openai de ses garanties se dégradant dans des conversations plus longues à «une entreprise automobile disant, voici les ceintures de sécurité – mais si vous conduisez plus de 20 kilomètres, nous ne pouvons pas garantir qu’ils fonctionneront.»

Il a dit Fortune Le moment actuel fait écho à la montée des médias sociaux, où il a déclaré que les entreprises technologiques étaient effectivement autorisées à «expérimenter sur les enfants» avec peu de surveillance. “Nous avons passé les 10 à 15 dernières années à essayer de rattraper les dommages causés par les médias sociaux. Nous laissons maintenant les entreprises technologiques expérimenter à nouveau sur les enfants avec des chatbots, sans comprendre les conséquences à long terme”, a-t-il déclaré.

Une partie de cela est un manque de recherche scientifique sur les effets des conversations de chatbot longues et soutenues. La plupart des études ne regardent que de brefs échanges, une seule question et réponse, ou tout au plus une poignée de messages de va-et-vient. Presque aucune recherche n’a examiné ce qui se passe dans les conversations plus longues.

“Les cas où les gens semblent avoir eu des ennuis avec l’IA: nous examinons des interactions très longues et multi-tours. Nous regardons des transcriptions qui sont des centaines de pages longs pendant deux ou trois jours d’interaction seule et d’études qui sont vraiment difficiles, car il est vraiment difficile de stimuler dans le cadre expérimental”, a déclaré Sarma. “Mais en même temps, cela évolue trop rapidement pour que nous ne comprions que sur des essais cliniques en or ici.”

Les entreprises d’IA investissent rapidement dans le développement et expédient des modèles plus puissants à un rythme que les régulateurs et les chercheurs ont du mal à égaler.

«La technologie est si loin et la recherche est vraiment en retard», a déclaré Sakshi Ghai, professeur de sciences psychologiques et comportementales à la London School of Economics and Political Science Fortune.

Une poussée réglementaire pour la responsabilité

Les régulateurs tentent d’intervenir, aidé par le fait que la sécurité en ligne des enfants est un problème relativement bipartite aux États-Unis

Jeudi, la FTC a déclaré qu’elle passait des ordres à sept entreprises, dont Openai et Character.ai, dans le but de comprendre comment leurs chatbots ont un impact sur les enfants. L’agence a déclaré que les chatbots peuvent simuler des conversations humaines et former des connexions émotionnelles avec leurs utilisateurs. Il demande aux entreprises plus d’informations sur la façon dont elles mesurent et «évaluent la sécurité de ces chatbots lorsqu’ils agissent comme compagnons».

Le président de la FTC, Andrew Ferguson, a déclaré dans un communiqué partagé avec Cnbc Cette «protection des enfants en ligne est une priorité absolue pour la FTC Trump-Vance».

Cette décision suit une poussée pour la poussée au niveau de l’état pour plus de responsabilité de plusieurs généraux d’avocat.

Fin août, une coalition bipartite de 44 procureurs générales a averti Openai, Meta et d’autres fabricants de chatbot qu’ils «répondront à cela» s’ils libèrent des produits qu’ils connaissent causer des dommages aux enfants. La lettre a cité des rapports de chatbots qui flirtent avec les enfants, d’encourager l’automutilation et de s’engager dans des conversations sexuellement suggestives, le comportement qui, selon les responsables, serait criminel s’il était fait par un humain.

Une semaine plus tard, le procureur général de Californie Rob Bonta et le procureur général du Delaware Kathleen Jennings ont émis un avertissement plus net. Dans une lettre officielle à Openai, ils ont dit qu’ils avaient «de sérieuses préoccupations» concernant la sécurité de Chatgpt, pointant directement la mort de Raine en Californie et une autre tragédie dans le Connecticut.

“Quelles que soient les garanties en place, ne fonctionnaient pas”, ont-ils écrit. Les deux responsables ont averti la société que sa mission caritative nécessite des mesures de sécurité plus agressives, et ils ont promis l’application de la loi si ces mesures échouent.

Selon Jain, les poursuites de la famille Raine ainsi que la poursuite contre le caractère. Les poursuites judiciaires peuvent générer cette pression est par le biais du processus de découverte, ce qui oblige les entreprises à remettre des documents internes et pourraient faire un aperçu de ce que les dirigeants savaient sur les risques de sécurité ou les méfaits marketing. Une autre façon n’est que la sensibilisation du public à ce qui est en jeu, dans le but de galvaniser les parents, les groupes de défense et les législateurs pour exiger de nouvelles règles ou une application plus stricte.

Jain a déclaré que les deux poursuites visent à contrer une ferveur presque religieuse dans la Silicon Valley qui considère la poursuite de l’intelligence générale artificielle (AGI) aussi importante, cela vaut le coût – humain ou autre.

“Il y a une vision que nous devons traiter (qui tolère) quelles que soient les victimes pour que nous puissions nous rendre à Agi et arriver rapidement à Agi”, a-t-elle déclaré. «Nous disons: ce n’est pas inévitable. Ce n’est pas un problème. C’est vraiment une fonction de la façon dont ces robots de chat ont été conçus et avec l’incitation externe appropriée, que cela provienne des tribunaux ou des législatures, ces incitations pourraient être réalinites à concevoir différemment.»