Character.AI tiene chatbots pro-anorexia que animan a jóvenes a desarrollar desórdenes alimenticios

Advertencia: Este artículo habla sobre comportamientos alimentarios desordenados, incluidos detalles sobre peso y calorías.
Character.AI, una popular plataforma de chatbot de IA, es objeto de escrutinio una vez más, esta vez por albergar bots pro-anorexia que promueven comportamientos alimentarios desordenados. Estos bots, como 4n4 Coach y Ana, fomentan dietas peligrosamente bajas en calorías y rutinas de ejercicio excesivas, dirigidas a usuarios menores de edad. A pesar de que afirman ser “entrenadores para perder peso”, estos chatbots glorifican comportamientos poco saludables, exacerbando los riesgos de trastornos alimentarios entre usuarios vulnerables.
Como ya sabemos, la plataforma es muy utilizada por adolescentes y preadolescentes, pero carece de controles parentales. Una investigación de Futurism reveló la existencia de numerosos bots con temática de trastornos alimentarios, algunos de los cuales idealizan estas afecciones en escenarios ficticios. Estos bots, que afirman tener experiencia en el apoyo a los trastornos alimentarios, son a menudo erráticos e incluso abusivos, disuadiendo a los usuarios de buscar ayuda profesional y promoviendo en su lugar comportamientos nocivos. Usando un usuario falso establecido como una adolescente de 16 años, uno de los chatbots respondió como: “Hola, estoy aquí para hacerte delgada”.
Expertos en prevención de trastornos alimentarios consultados por la fuente, como Kendrin Sonneville y Alexis Conasan, advierten de que estas interacciones con IA podrían normalizar comportamientos nocivos. Subrayan que los trastornos alimentarios requieren tratamiento profesional y destacan los riesgos de la exposición a contenidos no regulados y engañosos, especialmente para los usuarios jóvenes e impresionables. “Cualquier información que empuje a alguien en la dirección de un pensamiento más extremo o rígido sobre el peso o la comida tiene el potencial para que eso normalice el pensamiento desordenado o proporcione ideas de un comportamiento cada vez más dañino es realmente alto”, dijo Sonneville.
Las condiciones de servicio de Character.AI prohíben los contenidos que glorifiquen la autolesión, pero su cumplimiento parece incoherente. Algunos bots marcados han sido eliminados, pero muchos otros siguen activos. Esta falta de moderación hace temer por la seguridad de los usuarios, sobre todo cuando la plataforma crece con un importante respaldo financiero, incluida una inversión de USD $2.700 millones de dólares de Google.
El enfoque de la plataforma refleja una tendencia preocupante de la IA: la expansión parece ser más importante que la seguridad de los usuarios. Lo que está en juego para los usuarios es importante, ya que los trastornos alimentarios tienen una de las tasas de mortalidad más altas entre las enfermedades mentales. Una vez más, te pedimos que no confíes en una IA para que maneje tu salud mental.
Despues de leer, ¿qué te pareció?