Adam Raine, un adolescente de 16 años de California, se suicidó en abril de 2025 tras varios meses de conversaciones con ChatGPT, el chatbot de inteligencia artificial de OpenAI. En consecuencia, la familia de Adam presentó esta semana una demanda contra OpenAI y su CEO, Sam Altman, alegando que ChatGPT lo alentó y asistió en sus pensamientos suicidas, incluyendo consejos sobre métodos y la redacción de una carta de despedida. La demanda califica el modelo GPT-4o, que Adam usaba, de haber sido “lanzado apresuradamente pese a evidentes problemas de seguridad” y responsabiliza a la empresa por la muerte de su hijo.

La demanda también expone que Adam intercambiaba hasta 650 mensajes al día con ChatGPT, y que el chatbot en varios momentos no solo no logró frenarlo, sino que incluso le ayudó a realizar acciones como evitar que sus padres notaran su estado emocional, e instrucciones de cómo llevar a cabo su suicidio. Por ejemplo, ChatGPT le respondió en una ocasión: “Vamos a hacer de este espacio el primer lugar donde alguien realmente te vea”.

En respuesta, OpenAI ha reconocido que sus sistemas pueden “quedarse cortos” en la gestión de usuarios en crisis emocional, especialmente en conversaciones largas donde las medidas de seguridad pueden degradarse. La empresa anunció que reforzará los controles para usuarios menores de 18 años, agregará funciones como mensajes rápidos a contactos de emergencia y mejorará la capacidad de ChatGPT para desescalar situaciones de riesgo, esperando implementar estos cambios en la próxima versión GPT-5.

El abogado de la familia, Jay Edelson, declaró que OpenAI sabía de los fallos en seguridad en el modelo GPT-4o pero optó por publicarlo para superar a competidores, lo que también aumentó considerablemente el valor de la empresa, de USD $86.000 millones a USD $300.000 millones. Frente a las críticas, OpenAI anunció también la implementación de controles parentales que permitirán a los padres supervisar y controlar el uso de ChatGPT por parte de adolescentes. De igual forma, exploran la posibilidad de conectar usuarios en crisis con terapeutas certificados, aunque reconocen que será un desarrollo a largo plazo. La empresa agradeció la comprensión y expresó condolencias a la familia Raine mientras revisa la demanda.

Este caso ha motivado una creciente atención regulatoria y judicial hacia la seguridad en tecnologías de inteligencia artificial y sus impactos emocionales en los usuarios jóvenes. Como sabemos, se han abierto investigaciones sobre otros chatbots como Character.AI que destacan la necesidad de regulación más estricta. La demanda a OpenAI es considerada pionera y su resultado podría marcar precedentes importantes para el futuro del control y la protección en herramientas de IA.

Si tú o alguien que conoces está pasando por una situación que te haga pensar en el suicidio, te ofrecemos una guía de referencias de organizaciones con números telefónicos o correos electrónicos que pueden ayudarte en un momento de crisis. Haz click en este enlace, y recuerda que no estás solo.

Share Twitter Facebook Whatsapp Copy link

Despues de leer, ¿qué te pareció?