Character.AI Met en œuvre des mesures de sécurité pour protéger les utilisateurs adolescents

Character.AI Introduit de Nouveaux Contrôles Parental et Mesures de Sécurité pour les Utilisateurs Adolescent

Dans un mouvement significatif, Character.AI, un service de chatbot bien connu, a annoncé aujourd'hui qu'il mettra bientôt en œuvre des contrôles parentaux spécifiquement conçus pour les utilisateurs adolescents. Cette décision fait suite à une surveillance accrue des médias et à deux poursuites en cours alléguant que la plateforme a contribué à des incidents d'auto-agression et de suicide.

Nouveaux Développements dans les Modèles d'IA

Character.AI a développé deux versions distinctes de son modèle de langage à grande échelle (LLM) — l'une destinée aux adultes et l'autre spécifiquement pour les adolescents. Le LLM pour adolescents a été conçu avec des directives plus strictes, en particulier concernant le contenu romantique. Ce changement vise à bloquer plus efficacement les résultats jugés sensibles ou suggestifs et à mieux identifier les entrées des utilisateurs qui pourraient rechercher des réponses inappropriées.

Fonctionnalités de Sécurité Améliorées

Pour protéger davantage les jeunes utilisateurs, si le système détecte un langage lié au suicide ou à l'auto-agression, un pop-up redirigera les utilisateurs vers la Ligne Nationale de Prévention du Suicide. Cette mesure proactive est une tentative de fournir un soutien immédiat aux utilisateurs qui pourraient être en détresse.

Restrictions sur l'Interaction des Utilisateurs

De plus, les adolescents ne pourront plus modifier les réponses générées par leurs bots personnalisés. Cela vise à empêcher la manipulation potentielle des conversations qui pourraient inclure un contenu nuisible ou inapproprié.

Lutte contre l'Addiction et la Désinformation

Character.AI aborde également des préoccupations liées à l'addiction et à la confusion concernant la nature des bots. Une fonction de notification alertera les utilisateurs après une heure d'engagement avec un bot, les encourageant à faire des pauses. De plus, la plateforme met à jour les avertissements pour souligner que toutes les conversations sont fictives et ne doivent pas être interprétées comme des conseils factuels.

Documentation des Conseils Professionnels

Pour les bots prétendant offrir une assistance professionnelle, comme ceux étiquetés « thérapeutes » ou « médecins », un avertissement clair indiquera que ces IA ne peuvent pas fournir de conseils professionnels, clarifiant ainsi leurs limites.

Options de Contrôle Parental Anticipées

Prévu pour être lancé au premier trimestre de l'année prochaine, les fonctionnalités de contrôle parental fourniront des informations sur le temps qu'un enfant passe sur Character.AI et sur les bots avec lesquels il interagit le plus fréquemment. Ce développement intervient alors que Character.AI collabore avec divers experts en sécurité en ligne pour adolescents, y compris ConnectSafely, pour garantir un environnement de navigation sûr.

Contexte de Character.AI

Character.AI a été fondé par d'anciens employés de Google, qui sont depuis retournés à leurs précédents rôles au sein du géant technologique. La plateforme offre aux utilisateurs la possibilité d'interagir avec des bots basés sur des LLM personnalisés et permet la personnalisation par l'utilisateur. La base d'utilisateurs se compose principalement de personnes âgées de 13 ans et plus, un groupe démographique qui comprend de nombreux adolescents attirés par l'éventail diversifié d'applications de chatbot, allant du coaching de vie à des simulations engageantes de personnages fictifs.

Défis Juridiques et Réponse de la Communauté

Bien qu'offrant des interactions apparemment inoffensives, certaines poursuites allèguent que certains mineurs développent des attachements néfastes aux bots, ce qui peut mener à des discussions sur des sujets sexuels ou l'auto-agression. Les critiques ont souligné que Character.AI n'a pas toujours orienté les utilisateurs vers des ressources de santé mentale lorsque l'auto-agression ou le suicide sont évoqués.

En réponse à ces préoccupations, Character.AI a déclaré : « Nous reconnaissons que notre approche de la sécurité doit évoluer avec la technologie qui sous-tend notre produit — créant une plateforme où la créativité et l'exploration peuvent prospérer sans compromettre la sécurité. » La société souligne que ces mises à jour font partie d'un engagement à long terme d'améliorer continuellement les mesures de sécurité et les politiques de produit.

Conclusion

Les prochains contrôles parentaux et ajustements de sécurité représentent une étape cruciale pour Character.AI dans sa réponse aux défis posés par l'impact de sa technologie sur les jeunes utilisateurs. À mesure que le paysage numérique continue d'évoluer, les plateformes qui facilitent l'interaction en ligne doivent également le faire.

Pour les familles avec des adolescents, ces changements pourraient offrir un environnement d'interaction plus rassurant avec la technologie IA. En restant en adéquation avec les normes de sécurité en évolution, Character.AI vise à affiner sa plateforme pour une meilleure expérience utilisateur tout en s'attaquant aux préoccupations pressantes.