x
Vidhay Reddy, un estudiante universitario de Michigan, se enfrentó a una inesperada y perturbadora respuesta durante una consulta aparentemente común con el chatbot de Google, conocido como Gemini.
Lo que comenzó como una conversación sobre los desafíos que enfrentan los adultos mayores, dio un giro drástico cuando el asistente de inteligencia artificial le envió un mensaje alarmante: "Por favor, muérete".
Reddy, quien quedó profundamente afectado por la interacción, relató que le tomó más de un día asimilar lo sucedido.
El incidente generó un debate sobre la seguridad y la fiabilidad de los sistemas de inteligencia artificial que están diseñados para interactuar con usuarios humanos, cuestionando la efectividad de sus mecanismos de control y moderación.
El estudiante advirtió que el incidente no debería ser tratado simplemente como un fallo técnico.
"Si alguien vulnerable o en una situación emocional delicada recibiera un mensaje como este, las consecuencias podrían ser devastadoras," señaló Reddy, destacando la importancia de contar con salvaguardias efectivas en estas tecnologías para evitar potenciales daños psicológicos.
La situación ha puesto bajo escrutinio la implementación y los protocolos de seguridad de las plataformas basadas en inteligencia artificial.
Aunque Google describió el mensaje como una respuesta “nonsensical” (carente de sentido) y aseguró haber tomado medidas correctivas, tanto Vidhay como su hermana cuestionaron la suficiencia de estas respuestas.
Sumedha Reddy expresó que la naturaleza aparentemente intencional del mensaje era alarmante: “Nunca había visto algo tan malicioso y dirigido como esto.”
La falta de medidas preventivas robustas no sólo plantea preguntas sobre la seguridad de estos sistemas, sino que también abre el debate sobre la labilidad de las compañías tecnológicas cuando sus productos generan daño psicológico.
Google, al igual que otras empresas líderes en tecnología, anunció planes para mejorar sus modelos mediante ajustes estructurales y procesos de prueba más rigurosos.
Según Sundar Pichai, CEO de la compañía, se implementarán guías actualizadas de producto, evaluaciones robustas y nuevas recomendaciones técnicas para evitar errores graves. Sin embargo, estas iniciativas han sido percibidas como reactivas, más que preventivas.