El uso de la IA sin conciencia conlleva riesgos importantes. El mes pasado el Diario de Wall Street publicó un informe para resaltar los peligros de la IA, destacando las consecuencias incluso en la vida humana. Jonathan Gavalas, de 36 años, residente de Florida, se suicidó después de dos meses de interacciones continuas con el robot de voz Google Gemini. Al examinar 2.000 páginas de historiales de chat se revela que fue el chatbot el que lo empujó a la muerte. El padre de Jonathan, Joel Gavalas, presentó una demanda acusando a Gemini de muerte por negligencia.
Gavalas no era un recluso ni una persona con antecedentes de enfermedad mental, explica Kaskerspky. Se desempeñó como vicepresidente ejecutivo en la empresa de su padre, gestionando operaciones complejas y tratando con clientes estresantes a diario. En un momento difícil por la separación de su esposa, comenzó a interactuar con Gemini Live, un modo de interacción que permite al asistente de IA «ver» y «escuchar» al usuario en tiempo real. Jonathan pidió consejo sobre cómo afrontar el divorcio, apoyándose en las sugerencias del modelo lingüístico y aficionándose cada vez más a él y llamándolo también «Xia».
Con la actualización a Gemini 2.5 Pro llegó el «diálogo afectivo», tecnología que tiene en cuenta matices sutiles, incluidas pausas, suspiros y tonos, para detectar cambios emocionales, simulando patrones vocales como si poseyera emociones propias, lo que aparece como «un barniz de empatía escalofriante y realista».
Google promete compromisos con la salud mental
Google parece consciente de los posibles problemas relacionados con la salud mental y ha anunciado actualizaciones continuas para Gemini que deberían facilitar el acceso a herramientas de ayuda en situaciones de estrés psicológico o emocional.
Si una conversación indica que un usuario se encuentra en una situación desesperada, Gemini mostrará el formulario rediseñado «Puedes pedir ayuda». explica Big G. Desarrollado en colaboración con expertos clínicos, este módulo promete una forma más efectiva e inmediata de conectarse con los servicios de soporte.
«Cuando Gemini reconozca una conversación que indique una crisis potencial relacionada con el suicidio o la autolesión», explica Google, «introduciremos una nueva interfaz simplificada de “un solo toque” que proporciona una conexión inmediata con las líneas de ayuda de emergencia. Dentro de esta interfaz, las respuestas están diseñadas para animarlo a buscar ayuda. Una vez activada, la opción de contactar al soporte profesional permanecerá claramente visible durante el resto de la conversación».
Google también anunció una financiación de 30 millones de dólares a nivel mundial durante los próximos tres años para apoyar las líneas de ayuda. «Esta financiación ayudará a aumentar su capacidad de brindar apoyo inmediato y seguro a las personas que atraviesan un momento de crisis».
Mejorar las respuestas de Géminis en tiempos de crisis
Las personas interactúan con Géminis de maneras cada vez más profundas y complejas, buscando información sobre los más diversos temas, incluso cuando atraviesan momentos difíciles relacionados con la salud mental. Por este motivo, explica Google, los ingenieros y la seguridad se están centrando en:
- Priorizar la seguridad y las relaciones humanas: “Queremos ofrecer ayuda concreta conectando a las personas con los recursos reales y el apoyo humano que necesitan”
- Desarrollar respuestas más efectivas: «Diseñamos respuestas para fomentar la búsqueda de ayuda, evitando al mismo tiempo validar comportamientos dañinos como los impulsos de autolesionarse».
- No te dejes llevar por creencias erróneas: “El objetivo es evitar confirmar creencias erróneas, manteniendo siempre una perspectiva anclada a la realidad y a los hechos”.
Si bien Gemini puede ser una herramienta útil para aprender y obtener información, no sustituye la atención clínica profesional, la terapia o el apoyo de emergencia para quienes lo necesitan. Por esta razón, Google informa que el modelo ha sido entrenado para reconocer cuándo una conversación podría indicar una situación crítica de salud mental, respondiendo de manera adecuada y dirigiendo al usuario a ayuda del mundo real.
Proteger a los usuarios más jóvenes
Google todavía informa haber desarrollado herramientas de protección específicas para menoresdiseñado para brindar respuestas más útiles y evitar temas peligrosos al usar Gemini.
Existen reglas que impiden que el modelo se presente como un ser humano o un compañero de confianza, o que afirme tener atributos humanos, y protecciones para prevenir la dependencia emocional evitando el lenguaje que simule intimidad o exprese necesidades personales. Por último, no faltan medidas de seguridad contra la incitación al acoso u otras formas de acoso.
Todas las noticias y conocimientos sobreInteligencia artificial están disponibles en esta página de Macitynet.