Continuamos nuestra serie de artículos para estructurar el mundo de la inteligencia artificial de manera estructurada. Después de comenzar el discurso con un primer reconocimiento de lo que estamos hablando cuando se trata de chatgpt, ha llegado el momento de tomar otra manera: desde las nubes pasamos a nuestra computadora. De hecho, para nuestra Mac (pero Linux o Windows también está bien).
Así que olvídate por un momento de chatgpt, gemini, Claude y de Todas esas inteligencia artificial que viven en algún Center de datos remotos y que consumen sus datos como si fueran chips. Hoy hablamos en lugar de un fenómeno de rápido crecimiento que está cambiando la cara de la IA: la posibilidad de hacer que los modelos lingüísticos avanzados giren directamente en su computadora, sin la necesidad de Internet o suscripciones costosas. Es la era de la inteligencia artificial de bricolaje. Después de años de exilio en la nube, y Ollama es la herramienta que hace que todo esto sea posible para cualquiera que tenga un mínimo de familiaridad con la línea de comandos.
No hay necesidad de ser programadores para comenzar este viaje, pero solo un poco de espíritu de aventura y el deseo de reanudar el control de sus interacciones digitales. Y si solo tienes muy pocos conocimientos básicos, Sepa que siempre puede pedir ayuda de una IA clásica en la nubepor ejemplo, ChatGPT, también en la versión gratuita para brindarle todas las instrucciones necesarias. Un ejemplo de cómo la IA puede ser útil y al mismo tiempo hacer de lado.
¿La principal ventaja de usar una IA en local? Sus datos permanecen exactamente donde deberían estar: en su dispositivolejos de los ojos curiosos y los voraces algoritmos de información. Estamos hablando de la verdadera soberanía digital, que ahora parecía ser un concepto perdido en la era de los servicios de suscripción y la transferencia constante de nuestra privacidad.
Y la palabra clave es una: Olama. El software que actúa como un puente entre usted y los modelos lingüísticos de código abierto más avanzados, Al igual que los desarrollados por Meta (Llama) y por la startup francesa Mistral AI Estamos hablando de hoy. La instalación es sorprendentemente simple: hay dos formas en macOS: un comando en el terminal es suficiente
curl https://ollama.ai/install.sh | sh
o instalar usando HomeBrew
brew install ollama
Y en unos minutos estás listo para Descargue su primer modelo de inteligencia artificial. Windows y Linux no son diferentes, con procedimientos igualmente accesibles que están democratizando el acceso a las tecnologías que hasta ayer parecían una prerrogativa exclusiva de las grandes empresas.
El motor de la inteligencia
Pero, ¿cuáles son estos modelos que podemos ejecutar localmente? Imagine un cerebro digital compuesto por miles de millones de pequeños interruptores (los parámetros) quien entrenó en billones de fragmentos de texto (los tokens) para desarrollar una comprensión casi humana del lenguaje.
EL parámetros Por lo tanto, son los «pesos» que el modelo aprende durante el proceso de capacitación. Estos son los números que definen la forma en que el modelo genera texto, reconoce patrones y realiza pronósticos en palabras posteriores. En cambio, yo simbólico Estas son las unidades mínimas en las que el texto se descompone para ser procesado por el modelo.
La efectividad de un modelo depende de su escalerasmedido en miles de millones de parámetros y token procesados Durante el entrenamiento: miles de millones de parámetros Definir la complejidad del modelo y su capacidad para generalizar, mientras miles de millones de tokens entrenados Indique la cantidad de datos textuales sobre los cuales el modelo ha sido entrenado.
En la práctica: Más parámetros Significa que tiene un modelo más capaz, pero requiere más potencia computacional. Menos parámetrosEn cambio, significa un modelo más rápido y eficiente, ideal para su uso en dispositivos locales.
Vamos concretos: El modelo de Llama 3.1una de las joyas de la corona de gol, cuenta con 405 mil millones de parámetros Pero hay versiones más ligeras, como Mistral 7B, que con «solo» 7 mil millones de parámetros ofrecen un rendimiento sorprendente también en hardware modesto.
A diferencia de sus gigantescos primos que viven en la nube, Estos modelos han sido optimizados para trabajar en computadoras normales.sin la necesidad de hardware especializado. Por supuesto, no espere ejecutar los modelos más pesados en una computadora portátil vieja, Pero una computadora de rango medio (MacBook Air con Apple Silicon) con 16 GB de RAM puede administrar cómodamente modelos de 7-13 mil millones de parámetros. El compromiso entre el tamaño del modelo y el rendimiento es la clave: los modelos más pequeños significan respuestas más rápidas pero menos sofisticadas, mientras que los más grandes ofrecen respuestas más articuladas al costo de mayores requisitos de hardware.
Los tokens, la unidad de procesamiento de texto para estos sistemas, funcionan como los ladrillos de lenguaje LEGO. Una frase como «La inteligencia artificial es increíble» se divide en token:
«El», «inteligencia», «artificial», «es», «increíble», «.
que el modelo elabora uno tras otro. Esta es la magia que permite que los modelos completen oracionesresponda preguntas o genere contenido original, todo basado en los patrones que aprendieron durante la capacitación en grandes cantidades de texto.
Para los que aman los números, es interesante notar que Un modelo como Mistral 7b generalmente puede procesar hasta 4,096 token (aproximadamente 3,000 palabras) En un solo contexto, mientras que las versiones más recientes logran administrar 128,000 tokens. Estas figuras representan La «memoria de trabajo» de la IA: cuánto texto puede considerar simultáneamente generar una respuesta coherente.
Los protagonistas de la revolución
Llama y Mistral no nacieron por casualidad, sino que representan dos filosofías diferentes en el mundo de la IA de código abierto. Meta, con su proyecto de Llama, sorprendió a todos Al lanzar modelos gratuitos que compiten con los comerciales más avanzados. Mark Zuckerberg mismo dijo que el código abierto Garantiza que «una mayor cantidad de personas en todo el mundo puedan beneficiarse de las oportunidades que ofrecen la IA», evitando la concentración de poder en manos de algunas compañías. La mayoría de los cínicos también comentaron que, al ser muy tarde en comparación con los grandes nombres como Openi y Google, un Meta conveniente para explotar la fuerza del código abierto para esterilizar. Probablemente sean ciertos y dos cosas.
Mistral Ai, por otro ladoes la historia clásica de la startup que desafía a los Gigantes. Fundada en 2023 por tres investigadores franceses (Arthur Mensch, Guillaume Lample y Timothée Lacroix), ex empleados de Google Deepmind y meta, la compañía ha recopilado en poco tiempo más de 600 millones de euros en inversiones. Su enfoque es pragmático: Crear modelos más pequeños pero extremadamente eficientes, optimizados para casos de uso específicos tales como programación (Codestral) o Matemáticas (Mathstral).
Las pruebas muestran resultados sorprendentes: Mistral 7b, con sus 7 mil millones de parámetros, supera los modelos mucho más grandes en varios puntos de referencia. Mixtral 8x7b incluso Beats Llama 70B y, a veces, incluso GPT-3.5, lo que demuestra que el tamaño no es todo. La verdadera innovación radica en la arquitectura y la eficiencia de los algoritmos. Es una filosofía que no es diferente de lo que hace, de otra manera, Los chinos profundos.
Mientras tanto, La velocidad con la que evolucionan estos modelos es impresionante: Cada mes se lanzan nuevas versiones con mejoras significativas. Somos testigos de una verdadera carrera de oro de IA, donde la competencia abierta está acelerando la innovación en beneficio de todos los usuarios.
De la teoría a la práctica
Use estos modelos localmente con Ollama Es sorprendentemente simple. Después de la instalación, solo un comando para descargar el modelo deseado:
ollama pull llama2
o
ollama pull mistral
Una vez que se completa la descarga (que puede tomar unos minutos, dependiendo de la conexión), Puedes comenzar el modelo con
ollama run llama2
y comience inmediatamente a interactuar con la IA a través de una interfaz de línea de comando.
El verdadero poder de Ollama emerge Cuando comienzas a personalizar los modelos a través del Modelfilearchivos de configuración simples que le permiten definir el comportamiento de la IA. Es posible parámetros regulares como la «temperatura» (que controla la creatividad de las respuestas), el contexto (Cuántas fichas pueden considerar) e incluso proporcionar Instrucciones específicas Sobre el tipo de asistente que desea crear.
Por ejemplo, un modelado mínimo podría ser:
FROM llama3.2
PARAMETER temperature 1
PARAMETER num_ctx 4096
SYSTEM Sei un assistente specializzato in letteratura italiana, esperto di Dante e Petrarca.
Guardar este archivo como un «modelo» y iniciar
ollama create dante -f ./Modelfile
Se obtiene un nuevo modelo personalizado que Él responderá como experto en literatura italiana.. Todo el proceso requiere menos de un minuto, a partir de ese momento, todo tiene lugar localmente, no se gasta una lira y, en cambio, se abren infinitas posibilidades de especialización.
Atención, siempre estamos dentro de la línea de comando, es decir, el terminal: no es trivial de usar. No son aplicaciones tradicionales. Sin embargo, hay quienes trabajan para asegurarse de que se conviertan en eso. Para aquellos que prefieren una interfaz gráficade hecho, hay varias soluciones de tercera parte que se integran con Ollama, lo que hace que la experiencia sea aún más accesible. La comunidad alrededor de estas herramientas está creciendo rápidamentecon el foro GitHub y los tutoriales de repositorio, que ofrecen recursos preciosos para principiantes y expertos.
Lo importante es otra: detrás del gran ruido que hacen Los gigantes como Openi y Googlehay mucho más. Es más un problema para comprender lo que se necesita. Muchas soluciones extremadamente caras, con modelos verdaderamente revolucionarios pero también administrados por otros (en la nube, o a través de la firma de consultoría) en su lugar se puede implementar de manera no imposible, incluso localmente a un costo sustancialmente cero.
Es la revolución local de IA, la que acaba de comenzar, pero promete redefinir nuestra relación con la inteligencia artificial. No más servicios distantes y opacos, sino herramientas personales y privadas y bajo nuestro control directo. Ollama, Llama y Mistral son solo la Antecamba de un futuro en el que la IA realmente estará al alcance de todos, no solo como usuarios pasivos sino también como experimentadores activos. Es hora de traer inteligencia artificial a casa y descubrir qué puede hacer realmente cuando la liberamos de las cadenas de nubes.
En los próximos episodios veremos otras novedades y otras estrategias que están tratando de dirigir el mundo de la inteligencia artificial de una manera diferente.