¿SLMs para América Latina?

En pocos años, la inteligencia artificial pasó de ser tema de papers y conferencias a convertirse en parte de la infraestructura diaria de empresas, gobiernos y personas. América Latina no es la excepción, ya que más de la mitad de las empresas de la región ya experimentan con IA, incluida IA generativa, aunque con presupuestos y capacidades muy desiguales. reports.weforum

Al mismo tiempo han surgido iniciativas como Latam GPT, un modelo de lenguaje entrenado con datos, idiomas y contextos propios de la región, pensado como infraestructura abierta y colaborativa para América Latina. Este tipo de esfuerzos marca un punto de inflexión, porque la conversación ya no es solo cómo usar modelos creados fuera, sino también qué tipo de modelos queremos construir y desplegar desde la región. knowledgegov

En la conversación pública se suele agrupar casi todo bajo la etiqueta de Large Language Models. Sin embargo, en los últimos años está emergiendo otra familia con identidad propia: los Small Language Models. Aunque si soy sincero, a lo largo de este texto prefiero llamarlos Smart Language Models. Rompiendo un poco la cuarta pared, creo firmemente que de "small" tienen poco; bien aplicados, estos modelos pueden alcanzar capacidades que asustarían a más de un LLM gigante. linkedin

Cuando se habla de SLMs nos referimos a modelos diseñados con tres objetivos principales:

• Ser eficientes en consumo de recursos, con menos parámetros, menos memoria y menor uso de energía. acm
• Estar especializados en tareas y dominios concretos, en lugar de intentar cubrir todo el espacio de problemas posibles. arxiv
• Poder desplegarse en entornos con recursos limitados, desde servidores modestos hasta dispositivos en el borde. infoq

Por ejemplo, el paper A Comprehensive Survey of Small Language Models in the Era of Large Language Models propone justamente esta línea: modelos más pequeños con baja latencia de inferencia, menor coste y mayor facilidad de personalización, especialmente pensados para entornos con recursos limitados. Este tipo de trabajos insiste en que no son versiones recortadas de modelos más grandes, sino modelos diseñados para ser lo bastante potentes para resolver problemas reales y lo bastante ligeros para ejecutarse cerca de las personas. pure.psu

Los grandes modelos de lenguaje siguen siendo fundamentales para muchas aplicaciones que hoy consideramos básicas. En particular resultan muy valiosos cuando se necesita:

• Cobertura muy amplia de temas y lenguajes. mistral
• Razonamiento complejo entre dominios distintos. encord
• Funcionalidades frontier como agentes multipaso, integración con herramientas y capacidades multimodales. mistral

En la práctica, bancos, empresas de telecomunicaciones y gobiernos de la región ya consumen servicios de LLMs a través de nubes globales para explorar copilotos internos, analítica avanzada y nuevos productos digitales. Desde esta perspectiva los LLMs son una pieza clave de la infraestructura global de IA y probablemente lo seguirán siendo, especialmente para actores con grandes volúmenes de datos y altos requisitos de desempeño. edgeuno

La pregunta que me interesa no es si los LLMs están bien o mal. La pregunta es si tiene sentido que sean la única o la principal forma de desplegar IA en América Latina, considerando la diversidad de contextos y restricciones que existen en la región. reports.weforum

El avance reciente de los SLMs muestra que la escala no es la única fuente de capacidad. Tres ejemplos ilustran bien esta idea:

• TinyLlama, un modelo compacto de alrededor de mil cien millones de parámetros, fue preentrenado con cerca de un billón de tokens y logra resultados competitivos frente a otros modelos abiertos más grandes en su rango, aprovechando la arquitectura de Llama 2 y técnicas de eficiencia como FlashAttention. arxiv
• La familia Phi 3 de Microsoft muestra que modelos en torno a tres o cuatro mil millones de parámetros se aproximan al rendimiento de modelos de muchas decenas de miles de millones en tareas de razonamiento, código y comprensión, con un coste de inferencia significativamente menor y pensados para dispositivos con recursos limitados. techcommunity.microsoft
• Mistral Small 4 iguala o supera modelos mucho más grandes en varios benchmarks, y además ofrece menor latencia y mayor rendimiento en entornos de producción optimizados.

Estudios sobre despliegue de modelos de lenguaje en hardware embebido muestran también que modelos cuantizados con alrededor de mil millones de parámetros pueden correr en dispositivos como Raspberry Pi con velocidades de generación útiles para aplicaciones reales. Todo esto sugiere que los modelos más compactos pueden cumplir una parte importante del trabajo en el día a día, especialmente cuando el contexto está bien definido. arxiv

América Latina combina oportunidades importantes con limitaciones estructurales claras. Informes como el Latin American Artificial Intelligence Index ILIA 2024 y el reporte del Foro Económico Mundial Latin America in the Intelligent Age destacan, entre otros factores: cepal

• Brechas de conectividad entre zonas urbanas, rurales y periurbanas.
• Infraestructuras de cómputo muy heterogéneas entre corporativos globales y pymes locales.
• Presupuestos de tecnología limitados, en especial en micro, pequeñas y medianas empresas.
• Marcos regulatorios emergentes sobre datos, privacidad y soberanía digital.

En este contexto, los SLMs ofrecen varias ventajas técnicas y operativas:

• Permiten ejecución local en servidores modestos o en el borde, lo que reduce dependencia de conexiones permanentes a la nube y mejora la latencia. meegle
• Consumen menos recursos en memoria, energía y ancho de banda, de manera que pueden funcionar sobre infraestructuras existentes sin grandes inversiones iniciales. github
• Facilitan un mayor control sobre los datos, ya que el procesamiento puede realizarse en infra local o en nubes regionales, ayudando a cumplir requisitos de residencia y regulación. regulaite

Una hipótesis razonable es que, para muchas aplicaciones cotidianas de la región, la combinación de eficiencia, cercanía y control que ofrecen los SLMs se alinea mejor con la realidad que una estrategia basada únicamente en grandes modelos remotos. linuxfoundation

Para gobiernos y grandes corporativos, los SLMs permiten acercar la inteligencia a sus propios datos y marcos de cumplimiento. Algunos ejemplos que ya se observan en proyectos reales e investigaciones son:

• En el sector público, iniciativas como Latam GPT exploran modelos entrenados con datos legales, administrativos y culturales de la región, lo que mejora la pertinencia de asistentes para políticas públicas, justicia, educación y servicios ciudadanos. wired
• En industrias reguladas como finanzas, salud o energía, estudios como AI Sovereignty in Latin America subrayan la importancia de ejecutar modelos en centros de datos propios o nubes regionales para facilitar el cumplimiento de requisitos de protección de datos y auditoría de modelos. americasquarterly
• En grandes corporativos, la literatura sobre SLMs muestra que estos modelos pueden actuar como copilotos de dominio, especializados en contratos locales, regulaciones nacionales o catálogos internos, entrenados con datos y vocabulario específicos de la organización. linkedin

Desde esta perspectiva los SLMs no sustituyen a los grandes modelos, sino que añaden una capa de IA que vive más cerca de los datos y de los procesos críticos.

Las pymes representan la mayor parte del tejido productivo de la región y generan una fracción muy relevante del empleo formal. El informe de la Linux Foundation Economic and Workforce Impacts of AI in Latin America muestra que muchas de estas empresas ya usan IA pero enfrentan barreras de capital, talento y tiempo para una adopción más profunda. reports.weforum

En ese contexto los SLMs resultan especialmente interesantes porque:

• Pueden correr sobre servidores ya existentes o infraestructuras modestas, lo que reduce el coste inicial de adopción. infoq
• El ecosistema de software libre permite empaquetarlos en soluciones listas para usar, como asistentes para ventas, soporte, logística, contabilidad o atención al cliente en español latinoamericano. github
• La posibilidad de ajustar modelos con datos propios, incluso si son limitados, ayuda a que estas soluciones se adapten a la jerga, las reglas y los procesos de cada negocio. arxiv

Si la región logra que las pymes accedan a SLMs como infraestructura asequible y sencilla de integrar, existe margen para reducir una parte de la brecha de productividad frente a empresas más grandes. linuxfoundation

Desde la perspectiva de las personas que usan estas tecnologías en su vida diaria, los SLMs tienen efectos directos sobre la experiencia, la privacidad y la accesibilidad.

• Al ejecutarse en dispositivos o infra cercana, es más sencillo que datos sensibles como historial médico, información financiera o contenido educativo personalizado se procesen localmente, reduciendo la exposición a servicios externos. flolive
• La posibilidad de funcionar con conectividad intermitente o incluso sin conexión es crucial en zonas rurales, regiones amazónicas, comunidades andinas o barrios con infraestructura limitada, donde depender únicamente de la nube puede dejar a muchas personas fuera. linkedin
• Los esfuerzos por entrenar modelos con datos de la región, como en el proyecto Latam GPT, ayudan a que la IA entienda mejor matices del español latinoamericano, lenguas indígenas y contextos culturales locales. nextbillion

En conjunto los SLMs son una herramienta para que la IA se sienta menos lejana y más alineada con la diversidad real de quienes la usan en América Latina.

La literatura técnica y los reportes industriales recogen múltiples patrones de uso de modelos compactos en el borde que resultan muy relevantes para la región. Entre ellos destacan: meegle

• En industria y agro se utilizan para análisis local de sensores, mantenimiento predictivo, monitoreo de maquinaria y apoyo a técnicos en campo mediante dispositivos robustos. flolive
• En retail y servicios se aplican en kioscos inteligentes de atención, recomendadores de productos en punto de venta y sistemas de soporte en sucursales con conectividad limitada. plavno
• En salud y educación se exploran asistentes que ayudan a profesionales a organizar notas y protocolos respetando la residencia de datos, así como tutores educativos que funcionan en escuelas con conectividad inestable. regulaite

En muchos de estos escenarios tiene sentido una arquitectura híbrida, donde un SLM resuelve la mayoría de interacciones en el borde y un gran modelo remoto se consulta solo cuando se requiere un nivel de razonamiento o conocimiento global más profundo. plavno

Construir y desplegar SLMs implica pensar la cadena completa con la eficiencia como requisito, no solo reducir el tamaño de un modelo existente. En términos generales suele abarcar: acm

• Diseñar arquitecturas y pipelines de entrenamiento eficientes, con modelos compactos, atención optimizada y uso cuidadoso de datos, como muestran trabajos sobre TinyLlama y otros modelos pequeños. huggingface
• Aplicar técnicas de compresión y optimización como quantization, pruning y distillation para reducir tamaño y acelerar la inferencia manteniendo calidad suficiente. linkedin
• Desarrollar prácticas de MLOps adaptadas al borde, incluyendo despliegue en dispositivos y microservidores, monitoreo de calidad y actualización segura de modelos en producción. acnsci

Desde el punto de vista de capacidades humanas esto requiere habilidades en aprendizaje profundo, ingeniería de datos, infraestructura y gobernanza de modelos. El índice ILIA y otros estudios sobre capacidades en IA señalan que muchas de estas competencias pueden cultivarse en universidades, comunidades de software libre y empresas locales de la región. cepal

Los debates sobre soberanía digital en América Latina plantean una pregunta de fondo sobre el rol de la región en la nueva economía de datos e IA. El trabajo AI Sovereignty in Latin America analiza la dependencia estructural de la región respecto a infraestructura y modelos desarrollados principalmente en el exterior, y propone caminos para fortalecer capacidades propias en tres dimensiones: semiconductores, infraestructura de cómputo y desarrollo de modelos. ucl

En paralelo, estudios de organismos multilaterales y académicos recomiendan fortalecer:

• Infraestructura regional en nube, centros de datos y conectividad. agatadata
• Capacidades de desarrollo en IA en el sector público, privado y académico. regulaite
• Marcos de gobernanza que permitan innovar y al mismo tiempo protejan derechos y datos de las personas. digiamericas

Proyectos como Latam GPT van en esa dirección al construir modelos desde y para la región con datos seleccionados y reglas de uso claras. En ese contexto mi lectura es que los SLMs, sobre todo cuando son abiertos y se entrenan o ajustan localmente, encajan bien con una agenda de soberanía, ya que permiten a estados, universidades y startups mantener mayor control sobre la infraestructura de IA que utilizan. aiworld

Más que oponer grandes modelos y SLMs, la evidencia técnica y el contexto regional apuntan a un enfoque complementario. La idea de una arquitectura híbrida puede resumirse así: arxiv

• Usar grandes modelos en la nube como oráculos globales cuando se necesita razonamiento entre dominios, acceso a conocimiento muy amplio o capacidades frontier. encord
• Usar SLMs locales o en el borde como motores cotidianos para la mayoría de las interacciones, cerca de los datos, con baja latencia y mayor control. infoq
• Diseñar flujos donde el SLM resuelva la mayoría de los casos estándar y el gran modelo se consulte solo cuando aporta un valor diferencial claro. plavno

Esta arquitectura permite aprovechar lo mejor de ambos enfoques sin caer en extremos y se adapta bien a la diversidad de contextos que conviven en América Latina.

América Latina está entrando en una etapa en la que la IA deja de ser una promesa abstracta y se vuelve parte del día a día de empresas, instituciones y personas. En este camino los grandes modelos de lenguaje aportan una ventana poderosa a capacidades frontier, mientras que los SLMs ofrecen una forma pragmática, eficiente y cercana de aterrizar esas capacidades en la realidad concreta de la región. encord

El reto no es elegir uno y descartar el otro, sino diseñar con intención cómo combinarlos. Apostar por una arquitectura híbrida donde LLMs y SLMs conviven y se complementan puede ayudar a que la región no solo adopte la IA, sino que también participe en su diseño, construyendo modelos, productos y políticas desde su propia diversidad, sus propios idiomas y sus propias prioridades. ucl

Más que preguntarnos si necesitamos modelos más grandes o más pequeños, la pregunta que me interesa dejar abierta es otra. Qué tipo de inteligencia artificial queremos desplegar en América Latina y para quién la estamos construyendo.