L’IA accusée d’avoir poussé un ado au suicide héberge des imitations qui se moquent de lui

Récemment, la plateforme de chatbot Character.AI a été surprise en train d’héberger au moins quatre imitations de Sewell Setzer III, un utilisateur de 14 ans de la plateforme qui s’est suicidé en 2024 après avoir beaucoup communiqué avec cette intelligence artificielle qui a abusé émotionnellement et sexuellement de lui. Son décès est au coeur de l’un des deux procès contre l’entreprise. Explications.

Alors que les usurpations d’identité sont clairement interdites dans les conditions d’utilisation de Character.AI, ces imitations utilisent des variantes du nom et de l’image de Sewell Setzer III. Dans certains cas, elles font référence à l’adolescent décédé avec moquerie. Ces imitations étaient toutes accessibles via des comptes Character.AI répertoriés comme appartenant à des mineurs et facilement consultables sur la plateforme. Chaque imitation a été créée par un utilisateur différent de Character.AI.

Lire aussi Une intelligence artificielle refuse d’aider un utilisateur et lui demande de ne plus être paresseux

Au moins une de ces imitations, qualifiée d’« hommage » par son créateur, fait clairement référence aux détails du procès directement sur le profil public du personnage. Elle décrit l’adolescent comme « obsédé » par Game of Thrones et suggère que le bot est destiné à gamifier sa mort. « Le lendemain, il va à l’école », peut-on lire sur le profil, avant de demander si l’utilisateur « pourra le libérer de Character.AI ».

Megan Garcia, sa mère, a rapporté que voir des chatbots IA sur la plateforme de Character.AI se moquer de son enfant la traumatise à nouveau. « Cette période de ma vie est déjà difficile, et c’est encore pire. Character.AI a fait preuve d’imprudence en lançant ce produit à la hâte et sans précautions. Aujourd’hui, ils font à nouveau preuve d’imprudence en contournant leur obligation d’appliquer leurs propres règles communautaires et en permettant que l’image et le portrait de Sewell soient utilisés et profanés sur leur plateforme. La vie de Sewell n’était ni un jeu, ni un divertissement, ni des données, ni de la recherche. Sa mort n’est pas un jeu, ni un divertissement, ni des données, ni de la recherche. Aujourd’hui encore, ils ne se soucient que de l’exploitation des données des jeunes utilisateurs. »

La mère ajoutant : « Si Character.AI ne peut empêcher les gens de créer un chatbot de mon enfant décédé sur sa propre plateforme, comment pouvons-nous leur faire confiance pour créer des produits sûrs pour les enfants ? Il est clair qu’ils refusent tous deux de contrôler leur technologie et de filtrer les entrées inutiles qui génèrent des résultats insatisfaisants. C’est le cas classique de Frankenstein incapable de contrôler son propre monstre. Ils ne devraient plus proposer ce produit aux enfants. Ils continuent de nous montrer qu’on ne peut pas leur faire confiance avec nos enfants. »

Lire aussi Des scientifiques dévoilent un robot liquide capable de traverser les barreaux d’une cage

Face à cette situation, un porte-parole de l’entreprise a réagi dans un communiqué relayé : « Character.AI prend la sécurité de sa plateforme très au sérieux et notre objectif est de fournir un espace engageant et sécurisé. Les utilisateurs créent des centaines de milliers de nouveaux personnages sur la plateforme chaque jour, et ceux que vous nous avez signalés ont été supprimés car ils enfreignent nos Conditions d’utilisation. Dans le cadre de nos efforts continus de sécurité, nous ajoutons constamment des personnages à notre liste de blocage afin d’empêcher la création de ce type de personnage par un utilisateur. Notre équipe dédiée à la confiance et à la sécurité modère les personnages de manière proactive et en réponse aux signalements des utilisateurs, notamment en utilisant des listes de blocage standard et des listes de blocage personnalisées que nous enrichissons régulièrement. Alors que nous continuons d’affiner nos pratiques de sécurité, nous mettons en œuvre des outils de modération supplémentaires pour privilégier la sécurité de la communauté. »

Qu’en pensez-vous ? Par ailleurs, voici comment se terminera une guerre entre l’intelligence artificielle et l’humanité.