Olvídate de ChatGPT: llegan las IA más pequeñas y especializadas

Tras la irrupción que supuso, hace dos años, la aparición de las grandes Inteligencias Artificiales (IA), especialmente las generativas, como ChatGPT, aparecen ahora otros modelos más pequeños, personalizables, ligeros y que consumen menos recursos, especialmente ideados para tareas específicas.

Para hacernos una idea, si los grandes modelos necesitan grandes servidores y mucha capacidad de cómputo para funcionar (de ahí que suelan estar en lo que se llama “la nube” y que se acceda a ellos a través de Internet), estas nuevas IA son tan pequeñas que pueden llegar a instalarse en un ordenador personal.

Es tal su impacto que los grandes nombres de la IA también están desarrollando estos modelos más pequeños, aunque muchos de ellos también provienen de otros proveedores.

Qué son los SLM

Un Small Language Model (SLM) es un tipo de modelo de lenguaje basado en inteligencia artificial que se diseña con un tamaño y una capacidad de procesamiento menores en comparación con los modelos de lenguaje de gran escala, como los Large Language Models (LLM). Estos modelos se entrenan con menos datos y tienen menos parámetros, lo que los hace más ligeros y rápidos en términos de operación y despliegue.

A pesar de su menor escala, los Small Language Models pueden ser muy útiles en aplicaciones específicas que no requieren la complejidad y el costo computacional de un modelo más grande. Según Luis Garay, partner de Samaipata, con estos modelos se ofrecen a las empresas “soluciones específicas y optimizadas aprovechando su eficiencia y accesibilidad”. “Actualmente el 77% de las empresas que utilizan inteligencia artificial prefieren modelos pequeños, con menos de 13.000 millones de parámetros. Esto refleja una clara tendencia hacia soluciones más ligeras y eficientes, que se integran mejor en flujos de trabajo reales y reducen la dependencia de grandes infraestructuras”, añade.

La principal diferencia entre un LLM (como Gemini de Google o GPT de OpenAI) y un SLM se encuentra en su escala y capacidad de procesamiento. Un LLM tiene un gran número de parámetros (miles de millones) para poder manejar tareas complejas y ofrecer respuestas detalladas y matizadas. Mientras, un SLM tiene menos parámetros, lo que lo hace más ligero y rápido en su operación.

Además, un LLM puede procesar y analizar grandes volúmenes de datos, generando texto con un alto nivel de coherencia y contexto, mientras que un SLM es más adecuado para aplicaciones que no necesitan tanta complejidad y pueden beneficiarse de respuestas rápidas y eficientes.

Los requerimientos computacionales también difieren significativamente. Mientras que los LLM suelen necesitar una infraestructura de hardware robusta y costosa para funcionar eficazmente, los SLM son más eficientes en términos de recursos y pueden operar en dispositivos con limitaciones de hardware, como smartphones. Esta diferencia en el uso de recursos hace que los LLM consuman más energía y requieran más tiempo para entrenar y ejecutar, lo que puede ser un factor importante en términos de costo y sostenibilidad.

Para Juan Bernabé Moreno, director de investigación de IBM en Reino Unido e Irlanda, los SLM están evolucionando para que con un menor número de parámetros se consiga mejorar el modelo. “Nuestra apuesta es por modelos pequeños que tengan el mismo rendimiento. Aunque sean pequeños tienen que ser muy buenos en rendimiento”, explica. De hecho, este responsable asegura que sus modelos (conocidos como Granite) pueden funcionar en un portátil, “que es lo que necesita una empresa”.

Código abierto

Una de las características de estos SLM es que son, en muchos casos, de código abierto.

“Defendemos la innovación en la inteligencia artificial generativa con el código abierto para democratizarla, que sea un desarrollo impulsada por la comunidad, con un progreso compartido y que haya libertad de elección”, defiende Javier Sánchez Rubio, Artificial Intelligence & OpenShift Business Development Manager de Red Hat.

Una visión compartida por Robert Engels, líder del laboratorio de futuros de IA y Gen AI de Capgemini, quien defiende que el código abierto permite a las organizaciones colaborar y compartir conocimientos, lo que acelera el progreso y la implementación de nuevas soluciones. Además, el uso de software de código abierto no solo reduce los costes, sino que también mejora la seguridad y la transparencia. "Al adoptar soluciones de código abierto, las empresas pueden beneficiarse de una comunidad global de desarrolladores que constantemente mejoran y revisan el código, lo que resulta en productos más seguros y robustos", facilitando también la personalización y adaptación de las tecnologías a las necesidades específicas de cada organización.

Pensar a lo grande

Engels detallaba también que estos SLM están en auge porque "no solo se trata de un agente que intenta realizar todas las tareas con herramientas, sino de construir agentes más pequeños, especializados en tareas muy específicas con los datos y conocimientos propios de la organización".

Parte de su éxito está en que, como defiende Luis Garay, los SLMs son versátiles y tienen aplicaciones en diversos sectores. Son especialmente útiles en industrias que requieren procesamiento de lenguaje rápido y eficiente, como atención al cliente automatizada, análisis de datos en tiempo real o sistemas embebidos en dispositivos IoT.

Según el responsable de Red Hat, los SLM permiten “pensar a lo grande y actuar en lo pequeño”. “Parecía que la única posibilidad era consumir un modelo d grande desde la nube y controlar el coste. Por eso creo que vamos a ver mucho SLM, aunque sea despliegue en la nube, con empresas y organizaciones que van a hacer casos de uso cada vez más complicados y ambiciosos, pero entendiendo y eligiendo sus modelos, entrenándolos para que resuelvan la problemática de su empresa”. Algo que, según su visión, va a facilitar también el que la IA llegue a todas partes de la empresa.

El hecho de que estos SLM sean de código abierto hace que, según Juan Bernabé Moreno, la ciencia también pueda beneficiarse de estas licencias comerciales.

Además, este responsable detalla que las IA están siempre entrenadas con todos los datos públicos que hay disponibles, lo que hace que menos del 1% de los datos corporativos estén en esos modelos fundacionales. “Todos los datos propietarios, detrás del firewall, no han llegado a la tecnología”, explicaba.

Por eso, con estos SLM se permite que, una vez que el modelo está descargado e integrado en los sistemas de las empresas, puedan acceder a los datos de la empresa sin salir de su perímetro. Solo hay que “proporcionar mecanismos para que de manera fácil se pueda llevar a producción, escalarlo y gobernar el modelo”, detallaba, como alguno de los retos que tienen estos SLM.

Enjambre

Pero, como decíamos al principio, también los grandes nombres de las IA Generativs están inmersas en estos desarrollos. Aunque OpenAI no ha querido hacer valoraciones, desde Google se asegura que sus Gems son una función que permite personalizar Gemini para convertirlo en una IA experta en cualquier tema, como un asistente especializado en un tema concreto. “Los Gems son fáciles de configurar, solo hay que aportar algo de contexto y describir lo que quieres que haga tu Gem y cómo quieres que responda y así Gemini seguirá las instrucciones que se aportan que, con un solo clic permite crear un Gem que se ajuste a las necesidades específicas del usuario”, detallan fuentes de la compañía.

Aunque es difícil hacer predicciones sobre cómo va a evolucionar esta tecnología, el responsable de Red Hat sí vaticina que habrá incluso inteligencia artificial de enjambre, una especie de lugar donde convivirán los supermodelos y los modelos más pequeñitos con una capa por encima que elige, cuando llega la petición, qué modelo debe responder.

Como resume Luis Garay, los SLM continuarán ganando protagonismo, especialmente en aplicaciones específicas y empresas con recursos limitados. “A medida que la tecnología avance, es posible que estos modelos se integren directamente en dispositivos personales, como móviles y ordenadores, haciendo la inteligencia artificial aún más accesible”. Pero, a medida que los costes de inferencia disminuyen, “el uso de modelos grandes podría volverse más común y viable económicamente” y los SLM “podrían perder relevancia en aplicaciones donde utilizar modelos mayores se vuelva accesible y eficiente”.