LLM de código abierto · Pesos abiertos
Open-Source Large Language Model / Open Weights
¿Qué es un LLM de código abierto?
- LLM cuyos pesos se publican para poder ejecutarlo en infraestructura propia
- Soberanía de datos, control de costos y personalización son las razones principales para adoptarlo
- Lo recomendable es un esquema híbrido, en el que solo las tareas sensibles se ejecutan en un entorno privado
Tener los pesos en las manos significa pasar la IA de una suscripción a un activo propio. Con una API cerrada, si el proveedor actualiza el modelo o retira una versión anterior, las respuestas de un prompt que ayer funcionaba cambian; en cambio, un modelo descargado puede fijarse por completo en su versión, de modo que un resultado validado conserva su vigencia. En finanzas y salud, donde cada cambio de modelo exige un nuevo documento de validación, la reproducibilidad de los resultados decide si la herramienta puede adoptarse. Además, poder ejecutarla en entornos de red aislada, sin acceso a internet, es lo que la separa de los modelos cerrados.
La palabra «abierto» agrupa al menos tres niveles distintos. Los pesos abiertos publican solo los parámetros del modelo; la apertura total incluye también el código de entrenamiento y la composición de los datos; y la apertura restringida solo permite usarlo bajo ciertas condiciones. Todos se llaman «modelos abiertos». Las licencias Apache 2.0 y MIT tienen condiciones comerciales sencillas, pero los modelos con licencia comunitaria incluyen cláusulas como un límite de usuarios activos mensuales, reglas sobre el nombre de los modelos derivados y la prohibición de entrenar otros modelos con sus resultados. Si se pasa un PoC a servicio real sin revisión legal y luego se descubre una infracción, hay que reemplazar el modelo completo y repetir desde cero el ajuste fino (fine-tuning).
El tamaño del modelo determina el presupuesto de GPU. Un modelo de 8B cabe en una sola tarjeta de 24 GB de VRAM con cuantización de 4 bits, mientras que uno de 70B necesita unos 140 GB en fp16, por lo que hay que combinar varias GPU de alto rendimiento. Por eso, en la práctica, la configuración habitual no es «un solo modelo grande», sino asignar tareas de alcance acotado, como resumir, clasificar o extraer datos, a modelos pequeños. El punto de equilibrio depende de la tasa de uso de la GPU y no del precio por token. Por eso, para tareas de unas decenas de casos al día, operar un modelo propio suele resultar más caro.
El malentendido más común es creer que código abierto significa «gratis». Los alquileres de GPU, la electricidad, la monitorización y el salario del personal que atiende incidentes nocturnos se pagan cada mes, así que con baja utilización puede resultar más caro que una API. El segundo es pensar que «como lo descargamos, es seguro»: si se guardan en texto plano los conjuntos de entrenamiento para el ajuste fino y los registros de inferencia, se recrea dentro de la empresa la misma vía de fuga. El tercero es creer ciegamente en la puntuación de los rankings. Los modelos que lideran los benchmarks en inglés suelen omitir frases clave y traducir mal la terminología interna cuando trabajan con documentos propios en coreano; omisiones de frases clave y errores en términos internos son habituales. Antes de probar con 100 casos de sus propios datos, no tome las cifras publicadas como conclusión.
John KimAutor de «Diseño de marketing B2B» y CEO de Nanum Consultoría, instructor John Kim
Sungil KimExalumno de KAIST y ex Samsung Electronics; experto en pitch global que formó al equipo ganador del concurso de pitch de inversión de Select USA y de la Organización Mundial del Turismo (ONU)En 2023 Meta publicó LLaMA para investigación y poco después lanzó Llama 2, que sí permite uso comercial, y el ecosistema de pesos abiertos creció rápidamente. Después, Mistral, Qwen y DeepSeek fueron reduciendo la brecha de rendimiento y ampliando el alcance de las tareas que pueden resolverse con modelos públicos.
Veamos un caso hipotético. La aseguradora de daños coreana A, con unos 900 colaboradores, procesó durante seis meses con una API cerrada la transcripción de las llamadas del centro de atención, para resumirlas automáticamente y clasificar el tipo de queja. El costo mensual en tokens subió hasta KRW 23,000,000 (≈ US$17,200) y, en dos observaciones de la auditoría interna, se señaló que la estructura enviaba al exterior el nombre y el número de contrato de los clientes. Así comenzó un proyecto de transición de cuatro meses.
- El jefe de equipo Park, del área de innovación digital, extrajo el detalle de tokens de tres meses y lo puso frente al CFO. Del CFO salió el comentario «¿No convendría alquilar GPU con ese dinero?», y en esa misma reunión la evaluación de una transición quedó asignada como tarea.
- Dos ingenieros de IA compararon cuatro modelos públicos de 8B y 32B con 200 grabaciones reales de consultas de clientes. El modelo de 32B alcanzó en precisión de resumen cerca del 94 % del nivel de la API existente.
- La revisión del departamento jurídico encontró que la licencia del primer candidato incluía una cláusula de «más de 700 millones de usuarios activos mensuales» y una regla sobre el nombre de los modelos derivados, así que se cambió el orden hacia la licencia Apache 2.0, cuyas condiciones son sencillas.
- Kim, jefe de sección del equipo de infraestructura, alquiló dos GPU L40S en la VPC de la empresa y las puso en marcha con vLLM. Sin embargo, durante las primeras dos semanas la velocidad de procesamiento por segundo fue la mitad del objetivo, así que tuvo que ajustar tres veces el tamaño de lote y la configuración de cuantización.
- El jefe de equipo Park dejó que el modelo privado resumiera solo las grabaciones con datos de clientes, mientras que los borradores de comunicados de prensa y las actas de reunión siguieron en la API cerrada existente. Así operan dos vías separadas.
- Cuatro meses después del cambio, el costo operativo mensual bajó de KRW 23,000,000 (≈ US$17,200) a KRW 9,800,000 (≈ US$7,330), incluidos el alquiler de GPU y los salarios, y la transferencia externa de datos de clientes pasó a ser de 0 casos, con lo que se resolvieron las dos observaciones de auditoría.