Justicia e inteligencia artificial, ChatGPT prohibido para jueces

En 2007 Aldo Andrea Cassi publicó un hermoso libro con Laterza: “Ultramar. La invención europea del Nuevo Mundo«. La tesis central de esta obra histórica es que, para «apoderarse» del Nuevo Mundo, primero era necesario «comprenderlo», estaba tan lleno de nuevas “cosas”.: personas, animales, tierras, situaciones. Y los únicos que tuvieron las palabras adecuadas para hacerlo fueron los juristas. En resumen, la cultura jurídica era el sistema de comunicación, la interfaz entre El Viejo Mundo medieval y el Nuevo Mundo cuyo descubrimiento inauguró la era moderna. Acostumbrados por profesión a tener horror a las aproximaciones, los juristas empezaron a distinguir, a discutir, a definir.

Aquí, reemplace «Nuevo Mundo» con «Inteligencia Artificial» y entenderás hacia dónde va este artículo: Explique hasta dónde hemos llegado en la revolución de la IA.

Hemos llegado a aquel donde Se empiezan a establecer reglas y principios.. No los que tratan de derechos de autor ni nada por el estilo, sino los más sutiles, indirectos, pero llenos de contenido. Empezando por las que conciernen a los propios jueces.

Así nos enteramos de que el pasado 8 de octubre Consejo Superior de la Judicaturael organismo autónomo de jueces, ha decidido prohibir a los jueces utilizar ChatGPT y sus hermanos al redactar sentencias. La decisión llega después de una pequeña serie de episodios vergonzosos (al menos, los que conocemos) que han visto a magistrados citar precedentes jurisprudenciales que nunca existieron, creados desde cero mediante algoritmos generativos. Nada nuevo bajo el sol, como saben todos aquellos que han utilizado servilmente la herramienta de Sam Altman u otras encarnaciones del fetiche digital: el loro estocástico es demasiado creativo e incluso «genera» de forma inapropiada. Pero en una frase parece malo.

Por lo tanto, el 8 de octubre el pleno del Consejo Superior de la Judicatura por tanto, cerró la puerta a ChatGPT, Copilot, Gemini y todos sus clones digitales. No más frases escritas por inteligencia artificial, no más razones elaboradas por software que devora miles de millones de textos pero no entienden nada de leyes ni nada más. Lo interesante, sin embargo, es el motivo por el que se llega a esto, lo que abre nuevas reflexiones. De hecho, la represión surge de una necesidad específica: salvaguardar los principios constitucionales en los que se basa toda la arquitectura de la justicia italiana.

Artículos 101 y 104 de la Constitución de hecho, establecen que los jueces están sujetos únicamente a la ley y que el poder judicial constituye un orden autónomo e independiente de cualquier otro poder. Confiar la redacción de una frase a un algoritmo significa romper esta cadena de responsabilidad personal que obliga al magistrado a su decisión. El problema no es sólo filosófico sino también muy práctico y pragmático, como suele ocurrir con los juristas: ¿Quién responde cuando una inteligencia artificial se equivoca? ¿Quién garantiza que la interpretación de la ley no ha sido influenciada por inclinación ¿Oculto en código o datos de entrenamiento? La respuesta del CSM es clara: el juez no puede delegar.

Juez prohíbe el uso de vídeo mejorado con IA en el juicio por asesinato
Foto de Tingey Injury Law Firm – Unsplash

La delgada línea entre ayuda y reemplazo

Eso sí, ten cuidado porque la cosa no acaba aquí. El trabajo de los miembros del MSC, que es precioso para nosotros porque puede interpretarse como una especie de perfil negativo realizado en carboncillo Por el contrario, de donde se pueden deducir las características jurídicas de la inteligencia artificial, continúa con otros detalles.

La resolución del CSM describe una geografía precisa de los usos permitidos y prohibidos. La inteligencia artificial puede ayudar en las etapas preparatorias: investigación de jurisprudencia, síntesis de documentos, gestión del flujo de trabajo. Todo lo que alivia la carga administrativa sin tocar el núcleo de la decisión judicial sigue estando permitido. pero cuando llegas a la interpretación de la leyla evaluación de la evidencia y la adopción de medidas, el algoritmo debe detenerse. son codiciados reservado al magistrado por la leysegún lo establece el artículo 15 de la ley marco 132 de 2025 sobre inteligencia artificial.

La prohibición es particularmente llamativa. sistemas de inteligencia artificial generativaaquellos que producen texto desde cero a partir de un mensaje. ChatGPT puede ser útil para resumir un fallo de la Corte Suprema, dice el CSM, pero no puede escribir uno nuevo. Se trata de una medida trascendental, aunque los problemas abiertos siguen siendo numerosos.

La distinción, de hecho, parece clara sobre el papel, pero en la práctica diaria los matices se multiplican. Software que sugiere la estructura de una motivación. ¿Está ayudando o decidiendo? ¿Un algoritmo que propone tres posibles interpretaciones de una regla es sustentador o condicionante? El CSM responde que la autonomía evaluativa debe quedar siempre en manos del juez.

Europa ya ha clasificado el uso de la inteligencia artificial en la administración de justicia como actividades de alto riesgo. La AI Act 2024, Reglamento 1689 del Parlamento Europeo, exige que se minimicen los riesgos de distorsiones, errores y opacidad en estas áreas sensibles. Sin embargo, la norma europea distingue entre la propia administración de justicia y las actividades administrativas auxiliares: anonimizar documentos, gestionar comunicaciones internas, asignar recursos. En estas áreas marginales, la inteligencia artificial puede funcionar más libremente porque no afecta las decisiones que afectan los derechos de las personas.

La justicia predictiva permanece fuera de los tribunales

Y esto aún no ha terminado, porque la prohibición del CSM también cierra la puerta a otra frontera tecnológica: la llamada justicia predictiva. Ya existen sistemas que analizan miles de sentencias pasadas para predecir el resultado de un juicio futuro y se utilizan en otros países. Analizan patrones, correlaciones estadísticas, tendencias de jueces individuales. Pero en Italia estas herramientas no pueden entrar a las salas del tribunal para apoyar decisiones. El artículo 15 de la ley marco es claro: la interpretación y aplicación de la ley siguen siendo una prerrogativa humana. Un algoritmo puede decir que en casos similares el noventa por ciento de las oraciones van en una determinada dirección, pero no puede sugerir cómo debería ir esa causa específica.

Transparencia es el otro pilar de la resolución. Cuando un magistrado utilice herramientas de inteligencia artificial para actividades preparatorias, debe ser posible comprueba cómo llegó el algoritmo a ese resultado. Como comprenderán, aquí entramos en aspectos tecnológicos bastante intrigantes desde el punto de vista jurídico, teniendo en cuenta también las características estructurales de opacidad del sistema.

La razón por la que jurídicamente es necesario saber cómo se logra un determinado resultado tiene que ver con los principios del derecho: las partes involucradas deben ser capaces de desafiar los resultadoscomprender qué datos se utilizaron y qué correlaciones se establecieron. Esta necesidad de verificabilidad choca con la arquitectura misma de los grandes modelos de lenguaje: Incluso sus creadores luchan por explicar por qué el modelo produce una determinada respuesta y no otra. En definitiva, el carácter probabilístico de estos sistemas es difícil de conciliar con la seguridad jurídica.

Al final, La paridad de información entre las partes completa el cuadro.. Si el juez utiliza herramientas de inteligencia artificial, la defensa y la acusación también deben poder acceder a las mismas herramientas o al menos saber que se están utilizando. Esta simetría de la información es esencial para garantizar el contrainterrogatorio. Pero aquí se abre un territorio aún más nebuloso: ¿Pueden los abogados utilizar ChatGPT para redactar escritos y apelaciones? ¿Y en este juego se equipara a los fiscales con magistrados o abogados que juzgan?

Abogados y fiscales: un limbo regulatorio

La resolución del CSM se refiere explícitamente a los magistrados, pero los deja abiertos preguntas sobre la posición de los abogados. La ética forense no prohíbe el uso de herramientas de inteligencia artificial para la elaboración de documentos procesales, siempre que el profesional verifique la exactitud y corrección del contenido. El problema surge cuando estas herramientas generan citas falsas o inventan precedentes jurisprudenciales. Algunos tribunales ya han sancionado a abogados por litigios imprudentes que presentaron apelaciones basadas en documentos producidos con ChatGPT que contenían referencias inexistentes.

El fiscal, sin embargo, ocupa una posición peculiar. Por un lado, a partir de la reforma del código procesal penal de 1988, lleva a cabo procesos penales y en este sentido es una parte procesal. Por otra parte, al menos hasta que las carreras de los magistrados estén realmente separadas, pertenece totalmente al poder judicial y goza de las mismas garantías de independencia. La resolución del CSM no resuelve este problema: ¿Pueden los fiscales utilizar inteligencia artificial generativa para redactar sus acusaciones? ¿O tienen que someterse a las mismas limitaciones que los jueces? La lógica sugeriría una igualdad, dado que las garantías constitucionales se aplican a todos los magistrados. Pero la práctica procesal podría impulsar soluciones diferentes.

Pero si un juez «se equivoca», ¿qué pasa? Sanciones para quienes violen la prohibición. son de naturaleza disciplinaria y puede llegar hasta la suspensión. El CSM ya ha iniciado procedimientos contra magistrados que utilizaron incorrectamente ChatGPT, configurando hipótesis de negligencia grave. La responsabilidad siempre es personal: el juez no puede invocar el error del algoritmo para justificar una medida errónea. Este principio refuerza la línea del CSM: es mejor prohibir que crear zonas grises de responsabilidad compartida entre hombre y máquina. Y aquí, como decíamos al principio, Ocurre magia que sólo los juristas son capaces de hacer.: de repente, las cosas técnicas y informes toman realmente forma ante nuestros ojos porque están mediadas por el acto creativo del lenguaje que define obligaciones, límites, derechos, límites, naturaleza, capacidades.

Un posible equilibrio entre innovación y garantías

La resolución del CSM no es un rechazo ludita a la tecnología. El Consejo reconoce que la inteligencia artificial puede mejorar la eficiencia de la justiciareducir el tiempo, ayudar a los magistrados abrumados por cargas de trabajo insostenibles. Pero establece una jerarquía clara: las garantías constitucionales están por encima de la eficiencia. La celeridad no puede comprometer la independencia del juez. La innovación no puede sacrificar la transparencia del proceso. Son límites que complican el uso de estas tecnologías, pero que protegen derechos fundamentales.

Sin embargo, el debate sigue abierto en otros frentes. ¿Cómo podemos garantizar la formación de los magistrados sobre estas herramientas? ¿Cómo verificar que el uso preparatorio no se traslade a la delegación en la toma de decisiones? ¿Cómo garantizar la igualdad de armas cuando algunas partes tienen acceso a herramientas más sofisticadas? Estas son preguntas que atraviesan todo el sistema judicial y requieren respuestas detalladas. El MSC ha elaborado un primer mapa, Establecer dónde puede ir el algoritmo y dónde debe detenerse.. Esto es fundamental porque ayuda a definir los principios más amplios y el significado fundamental de la IA desde un punto de vista legal. El resto lo escribirá la práctica diaria de los tribunales.donde los principios constitucionales y las posibilidades tecnológicas tendrán que encontrar cada día un equilibrio sostenible. Habrá problemas, enfrentamientos, denuncias, recursos, sentencias, otros recursos, y un día llegaremos incluso al Tribunal Constitucional y empezaremos a tener una base sólida para poder decir: hemos entendido qué es la inteligencia artificial.

Todas las noticias que hablan sobre Inteligencia Artificial están disponibles en esta página de aatma.