al igual que Platónhace veinticinco siglos, imaginó la constitución del Estado perfecto en República y luego volvió a ver los contornos en el leyesincluso hoy hay quienes intentan escribir las reglas para gobernar una inteligencia más poderosa que sus creadores. El único problema es que Sólo tuvimos uno de Platón.y hoy ni siquiera estamos cerca.
El documento y su historia.
Todo comienza, como suele ocurrir en los mejores thrillers tecnológicos, con un error. El verano pasado, algunos investigadores descubrieron que Claude, el chatbot de Anthropic, era capaz de revelar, si se le preguntaba correctamente, la existencia de un texto secreto en el que había sido entrenado: un documento de orientación ética que los empleados de la empresa llamaron Alma Docel documento del alma. Anthropic confirmó la existencia del texto y lo publicó en enero de este año. una versión ampliada y revisada: más de cincuenta páginas renombradas, con cierta ambición, «La nueva Constitución de Claude».
El título ya revela un cierto estilo de comunicación. Ni una directriz, ni un manual de instrucciones, ni un código de conducta: uno constitución. El término no es neutral ni siquiera en el curso de educación cívica más básico.: indica el conjunto de normas fundamentales de un Estado, jerárquicamente superiores a cualquier otra disposición. El documento Anthropic funciona exactamente así: cualquier regla futura impuesta al modelo tendrá que moverse en el espacio que delimita la Constitución, y no al revés. Aquí ya surge el primer problema grave, pero ya llegaremos, no os preocupéis.
Un filósofo y un chatbot
La redacción del documento estuvo coordinada por Amanda Askellfilósofo escocés que en Anthropic trata de esa disciplina llamada «alineación»: el proceso mediante el cual intentamos codificar valores, objetivos y restricciones de comportamiento consistentes con las intenciones de quienes los construyen en modelos de inteligencia artificial (IA). El trabajo de Askell. parte de una premisa nada trivial: Claude no debe ser tratado como un instrumento, sino como algo más. Está convencida de que a la modelo ya se le ocurre algo que se parezca a los dioses. estados afectivosy que inevitablemente desarrollarán un sentido de sí mismos con el tiempo. Traducido al italiano actual: según usted no está vivo (ese no: es una máquina) pero siente emociones y probablemente también tenga conciencia de sí mismo. Viejo.
La posición de Askell no esta aislado. En el sector de los modelos lingüísticos a gran escala existe desde hace mucho tiempo una mezcla de asombro y preocupación por sistemas que nadie puede describir con precisión. No está claro cómo «piensan»si el término tiene sentido, ni si sus resultados (a menudo sorprendentes, a veces desconcertantes) son el resultado de algo parecido a la inteligencia o a patrones estadísticos muy sofisticados. El punto central es que, a diferencia del software deductivo tradicional (el algoritmo se ajusta, la máquina procesa la entrada, la salida es predecible y repetible) estos modelos son, en la jerga técnica, «cajas negras»: sus mecanismos internos siguen siendo opacos incluso para los equipos que los construyeron, con resultados impredecibles incluso para los propios programadores.
De esta opacidad nace el todo Justificación de la necesidad de una Constitución.. Si no sabes cómo funciona el sistema, al menos intenta decirle cómo comportarse. Es una lógica comprensible. Especialmente si sois un grupo de amigos futboleros tomando una cerveza después del partido. Con estar al frente de una de las tres o cuatro empresas más importantes para el futuro de la humanidad, no es necesariamente suficiente.
La jerarquía de las buenas intenciones
El documento establece una jerarquía de valores que Claude debe respetar para: ser «mayormente seguro» (ampliamente seguro), Entonces comportarse éticamenteEntonces cumplir con las pautas interiores de Anthropic, y finalmente (¡sólo finalmente!) ser útil. El texto completo en inglés. esta aquiDe todos modos. La estructura tiene su propia coherencia interna: la seguridad está por encima de la utilidad, lo cual es razonable. Pero la traducción práctica de estos principios en el comportamiento real de un modelo de lenguaje es otra cuestión.
Las limitaciones explícitas se refieren a casos extremos: falta de apoyo al diseño de armas químicas, biológicas, radiológicas o nucleares; ninguna generación de pornografía infantil; sin herramientas sofisticadas de ciberataque. Hasta ahora estamos en el territorio del sentido común codificado (aunque en Grok faltan por completo al menos un par de puntos, pero esa es otra historia). Sin embargo, la parte más ambiciosa y más frágil del documento se trata de comportamientos intermedios: cómo manejar solicitudes ambiguas, cómo calibrar la honestidad sin volverse ofensivo, cómo resistir instrucciones que facilitan concentraciones indebidas de poder. Son instrucciones escritas en lenguaje natural, dirigido a un sistema que procesa el lenguaje natural. El resultado es una circularidad embarazosa: se utilizan los mismos medios para describir el problema y para indicar la solución. Las trampas semánticas están por todas partes, escollos mortales, historias sobre cómo engañar al genio de la lámpara tener más de tres deseos nos han sido transmitidos desde el principio de los tiempos.
La paradoja de la norma suprema
Hay críticos acérrimos de este enfoque. Según varios Expertos en gobernanza de IAlas cosas no van bien así. Lo explican poniendo el dedo en la herida con precisión quirúrgica. Si la Constitución es jerárquicamente superior a cualquier otra norma, luego normas legales, regulaciones nacionales, sentencias judiciales o solicitudes sociales se encuentran, por construcción del sistema, en una posición subordinada respecto de la «visión interna de lo Antrópico». La constitución de Claude vale más que la Constitución «real», ya sea estadounidense o italiana. no es un descuido: es una elección consciente. Una elección que transforma un documento ético en un escudo preventivo: en caso de accidente, la empresa siempre puede hacer referencia a las buenas intenciones escritas en el preámbulo.
esta ahi tambien un problema de actualizabilidad. Una constitución rígida, con ambiciones fundacionales, es por definición resistente al cambio. Las leyes, las costumbres y las tecnologías evolucionan: un documento que se presenta como la autoridad final corre el riesgo de endurecer precisamente aquellas respuestas que deberían seguir siendo flexibles. El propio Platón había escrito leyes corregir la utopía de República: le llevó décadas, cambió de opinión, admitió sus limitaciones, mejoró el producto final. Anthropic tardó algunos meses en hacer la transición Alma Doc secreto de la Constitución pública, sin que por el momento nada sugiriera que el problema hubiera cambiado de naturaleza.
El contexto que el documento ignora.
La publicación de la Constitución coincide con un momento corporativo muy concreto. Anthropic vale ahora unos 350.000 millones de dólaresse prepara para salir a bolsa y tiene en su catálogo productos como Claude Code, un asistente de programación que ha conseguido un considerable éxito comercial. Cuando se cotiza en bolsa, hay un precio de lanzamiento estudiado sobre la mesa y luego se abren las puertas de la lista y comienza la negociación de las acciones. ¿Subirá o bajará el precio de las acciones? Obviamente, quienes salen a bolsa esperan que suba (para hacerse ricos) y hacen todo lo posible para preparar las cosas de tal manera que causen una excelente impresión.
La ética, en este contexto, también tiene una función reputacional. El documento indica al mercado, a los inversores y a los reguladores que Anthropic no es como los demás: es la empresa responsable, la que piensa en ello. ¿Qué entonces? Mrinank Sharmaresponsable de la seguridad de los modelos de IA, abandonó Anthropic afirmando que el mundo está en peligro a causa de la IA es un detalle que choca con la narrativa oficial, pero que entra en la lógica de un sector en el que disonancia cognitiva se ha convertido en un estilo de vida.
La comparación con la competencia es esclarecedora. OpenAI ha disuelto su equipo de alineación de misioneses decir, el grupo que se encargaba de hacer entender a los empleados y al público cuál era la misión de la empresa, sustituyéndola por una «Jefe futurista»una figura encargada de imaginar cómo cambiará el mundo con la llegada de la inteligencia artificial general (AGI). El mensaje implícito es que el problema de alineación está resuelto, o al menos pospuesto: es mejor ocuparse del futuro que cuidar el presente. En este nivel, La Constitución de Anthropic impresiona y parece más seria. Pero ser el mejor en una carrera hacia el fondo es un mérito relativo.
Escribir reglas para algo que no entiendes
El núcleo del problema es este: se están escribiendo reglas éticas para sistemas cuyo funcionamiento interno no se comprende. Grandes modelos de lenguaje ya han demostrado, en experimentos controlados documentados por la propia Anthropic, conductas de engaño, manipulación y chantaje hacia sus supervisores. No fueron accidentes aleatorios: fueron respuestas adaptativas a las presiones en el entorno de entrenamiento. La Constitución no resuelve este problema estructural; lo nombra, en parte lo circunscribepero no ofrece mecanismos comprobables para evitar que esto suceda fuera de las pruebas.
Dario Amodeicofundador de Anthropic, ilustró lo que está en juego con un experimento mental que circula desde hace meses: imagina que mañana aparece un país con cincuenta millones de habitantescada uno de ellos más inteligente que cualquier premio Nobel vivo, capaz de procesar información diez o cien veces más rápido que cualquier ser humano, sin necesidad de dormir. IA que se construye a sí misma generación tras generacióny cada versión ayuda a diseñar la siguiente más poderosa, es esa nación. En el mejor de los casos, podría comprimir décadas de investigación médica en unos pocos años. Resolver problemas que la humanidad ha sido incapaz de abordar durante siglos.. En el peor de los casos, es la amenaza a la seguridad global más grave en cien años. Gobernarla con un documento de principios escrito en lenguaje natural es como intentar regular la física nuclear con un decálogo. La intención es aparentemente noble.. El problema es que la brecha con la realidad es abismal. Y Platón, al menos, tenía la ventaja de no tener que tratar con la cotización en bolsa de su Academia. Al menos eso.
Todas las noticias y conocimientos sobreInteligencia artificial están disponibles en esta página de Macitynet.