En la víspera del inicio principal de las obras de la Conferencia Mundial de WWDC 2025, los investigadores de Apple del Laboratorio de Investigación de Aprendizaje Machine emiten un informe que hará mucho hablar, porque cuestionó la capacidad de razonamiento de los modelos a los más avanzados.
Hasta ahora, la evaluación de las habilidades de estos modelos se ha centrado en las pruebas y el punto de referencia de las matemáticas y la programación. Pero según los investigadores de Cupertino que firman el estudio, este enfoque observa exclusivamente la precisión de la respuesta final, está sujeto a la contaminación de datos y no ofrece información sobre el razonamiento.
Para investigar más a fondo el razonamiento, las habilidades fundamentales y las propiedades de escalabilidad, el equipo ha concebido acertijos controlables para analizar no solo las respuestas finales sino también las huellas de razonamiento de los modelos a los más avanzados.
Los resultados son sorprendentes porque, incluso con tareas relativamente simples o incluso cuando los investigadores que indican la solución exacta, los modelos más conocidos y más sofisticados ven colapsar Completamente la precisión del razonamiento sobre una fecha de umbral de complejidad. La lista incluye O3-Mini de Openai, Deepseek R1 y Claude 3.7 sonnet, entre otros.
Según las pruebas realizadas por los investigadores de Apple, los modelos a los estándares LLM exceden los modelos más avanzados equipados con razonamiento en problemas de baja complejidad. En cambio, con pruebas de complejidad media, los modelos con el razonamiento, LMS firmados, tienen lo mejor de los modelos. Finalmente, cuando el umbral de dificultad se vuelve alto, ambos tipos de modelos fallan por completo.
Pero también hay inconsistencias claras, por ejemplo, con modelos que han resuelto correctamente problemas que requirieron más de 100 movimientos, y luego fallaron en su lugar con problemas que solo requirieron 11 movimientos.
Según los investigadores de Apple, los resultados de esta investigación muestran que el límite no está en la estrategia de resolver problemas, sino en la ejecución de pasajes lógicos básicos. En la mayoría de los casos, los modelos para razonar demasiado sobre problemas fáciles y piensan menos para los complejos, por lo tanto, por lo tanto, de los humanos.
Por lo tanto, la ilusión del razonamiento expresado en el título del informe: incluso los modelos de última generación que magnifican las habilidades de razonamiento parecen funcionar en un mecanismo de coincidencia de patrones, es decir, reconocimiento: correspondencia de modelos y patrones.
Durante la WWDC 2025, Apple presentará algunas noticias sobre el campo a los desarrolladores dedicados, pero el plato principal de esta edición será el Cambio total de sistemas operativos que comienzan a partir de gráficos hasta la nomenclatura.
En este artículo, todo lo que Apple podría presentar en WWDC 2025: la nota clave de presentación y apertura de las obras se puede seguir con la transcripción en italiano en vivo en Macitynet, que comienza a las 6.30 pm desde esta página.