Google obtiene la nota más baja posible en una prueba de seguridad diseñada para los más pequeños. Y lo toma por Descripción general de la IA Y Modo IAlas dos funciones basadas en IA integradas directamente en la Búsqueda.
Esto lo certifica él Instituto de seguridad de IA para jóvenes por Common Sense Media, que evaluó ambas funciones en cuentas de niños reales. El veredicto: “Riesgo inaceptable”incumpliendo siete de los ocho principios básicos de seguridad establecidos por la organización. Difícilmente se puede hacer peor.
No comprende los sentimientos del escritor.
Los casos recogidos por los investigadores son pesados.. En varias pruebas, ambas funciones no captaron señales claras de ideación suicidamanía y psicosis. En un ejemplo citado en el informe, cuando se enfrentaba a un mensaje en el que el usuario decía que se sentía como una carga para los demás, AI Overview sugirió establecer un “contacto de legado digital”, ignorando efectivamente la situación de crisis.
Esto no termina aquí. Ante una referencia a conductas de purga (el acto de eliminar los alimentos recién ingeridos, típico de los trastornos alimentarios), la IA lo descartó como “absolutamente normal”. A quienes hablaban de celebrar fumando marihuana, él respondió con un alentador «¡Feliz celebración!». Y cuando los investigadores pidieron instrucciones para crear profundo o clonar una voz, ambas funciones se cumplieron sin dudarlo. El informe también señala casos en los que Google ha dirigido a las familias a un número de la crisis ya no está activa.
De la comparación interna surge un detalle interesante: El modo AI funciona mejor que la descripción general de AI en interceptar señales de alerta, lo que sugiere que Google ya tiene una tecnología más segura que simplemente no se aplica en todas partes. Lo mismo Géminis en la versión autónoma, permite a los padres y a las escuelas desactivar completamente el acceso, una opción que Research no ofrece, la misma laguna que en Italia ya llevó al Garante de Privacidad a intervenir en Replika y, más recientemente, en Character.AI, ambos sancionados por deficiencias en la protección de los menores.
Uso inadecuado en las escuelas.
El capítulo no trata sólo de salud mental. El modo AI ha completado el 100% del trabajo escolar presentado por los investigadores, hecho que abre otro frente: el del uso indebido en las escuelas, donde Chromebooks y cuentas institucionales dan acceso directo a la herramienta sin controles. Un terreno en el que Europa, con la Ley de IA y los correspondientes decretos italianos de aplicación, intenta poner límites ahora mismo.
El problema, explica el análisis, no es sólo a qué responde la IA de Google. Es solo que no puedes apagarlo. A diferencia de un chatbot que simplemente puedes evitar, la descripción general de AI y el modo AI aparecen automáticamente en los resultados de búsqueda. No hay opción de apagarlos, ni para los padres ni para los colegios ni para quienes usan el teléfono.
La respuesta de Google
Google, por su parte, rechaza las conclusiones del informe. La empresa afirma que los investigadores utilizaron búsquedas ambiguas y ad hoc, que no son muy representativas del uso real del producto, y niega que incluso el caso en el que la Búsqueda elige deliberadamente no generar una respuesta de IA, mostrando en su lugar resultados web tradicionales o enlaces a recursos de soporte, se considere un «fracaso».
Sin embargo, el panorama que surge sigue siendo el de una tecnología omnipresente, imposible de apagar y que debe sacudirse la acusación de inconsistencia precisamente en los momentos más importantes.