Parámetros · Parámetros del modelo
Parameters
¿Qué son los parámetros?
- Valor interno que el modelo ajusta durante el aprendizaje
- «OO00 millones de parámetros» = escala
- Distinguir de los hiperparámetros
Conocer el número de parámetros permite calcular en cifras si su empresa puede ejecutar este modelo. Cada peso ocupa, en general, 2 bytes (FP16), así que un modelo de 7 mil millones (7B) necesita solo para los pesos unos 14 GB, y uno de 70 mil millones (70B), unos 140 GB de memoria. Si cabe en una sola GPU (24–80 GB) o hay que combinar varias, esa diferencia se traslada directamente al servidor, a la cotización y a la velocidad de respuesta. Los parámetros no son una frase de marketing, sino el punto de partida del diseño de infraestructura.
En la práctica hay que distinguir tres cosas. Primera, los parámetros totales y los activos. Los modelos MoE, tan comunes hoy, tienen cientos de miles de millones de parámetros en total, pero al procesar cada token solo se activan unos pocos miles de millones, así que funcionan mucho más baratos de lo que su tamaño haría pensar. Segunda, la cuantización. Pasar de 16 bits a 4 bits reduce la memoria a cerca de una cuarta parte, a cambio de perder algo de precisión. Tercera, la frontera con los hiperparámetros. La tasa de aprendizaje y el tamaño de lote los fija una persona antes de entrenar y no cambian al terminar el entrenamiento, mientras que los parámetros se modifican durante el entrenamiento y quedan fijos en el momento del despliegue. El ajuste fino rara vez reentrena todo el modelo; lo habitual es el método LoRA, que modifica menos del 1% del total.
El error que más se repite es la expectativa de que «si tiene muchos parámetros, también conocerá el trabajo de nuestra empresa». Un modelo de 400 mil millones de parámetros tampoco aprendió nunca su reglamento interno de trabajo ni su lista de precios unitarios. Si no se tiene esto en cuenta y solo se instala un modelo grande, el modelo inventa, con aire de certeza, reglamentos que no existen, y el responsable los pega tal cual en un correo. También es frecuente confundir la longitud de la ventana de contexto con el número de parámetros, como si fueran el mismo eje. Y otro punto: si se aplica una cuantización excesiva para ahorrar, la conversación diaria parece normal, pero los cálculos de montos o el código fallan en silencio. Por eso los exámenes de verificación deben incluir preguntas numéricas.
John KimAutor de «Diseño de marketing B2B» y CEO de Nanum Consultoría, instructor John Kim
Sungil KimExalumno de KAIST y ex Samsung Electronics; experto en pitch global que formó al equipo ganador del concurso de pitch de inversión de Select USA y de la Organización Mundial del Turismo (ONU)Concepto que se refiere a los pesos y sesgos de la red neuronal. La competencia por la escala del modelo (el aumento del número de parámetros) llevó a mejoras de rendimiento y se convirtió en el indicador clave de la era de los grandes modelos de lenguaje.
Veamos un caso hipotético. La empresa A, fabricante de autopartes con 430 colaboradores, decidió poner en marcha en 6 semanas un chatbot de preguntas y respuestas sobre reglamentos internos y documentación técnica. Como los planos y los precios unitarios estaban mezclados, no podía usar APIs externas: la condición era que funcionara en on-premise. Pero durante casi dos meses no llegaron a una conclusión sobre si debían usar un modelo de varios cientos de millones de parámetros.
- El gerente Kim, del equipo de estrategia de información, recibió de un directivo la orden de «instalar el más grande, ya que estamos». Al cotizar con un modelo de 70B, para cubrir 140 GB de VRAM se necesitaban 4 GPU, y solo el servidor costaba KRW 62,000,000 (≈ US$46,400).
- Un consultor externo extrajo 300 preguntas que llegaron realmente desde las áreas: el 82% eran consultas de documentos, como «¿cómo es la regla de traslado de días de vacaciones?», y solo 12 requerían razonamiento de varios pasos.
- Al aplicar RAG con documentos internos a un modelo de 8B y ejecutar los mismos 300 casos, se obtuvo 91% de respuestas correctas, frente al 63% de un modelo de 70B sin documentos. El gerente Kim dijo: «Resulta que el problema era el material, no el tamaño».
- Al reducir la memoria de 16 GB a 6 GB con cuantización de 4 bits, la velocidad mejoró, pero en las respuestas que suman precios unitarios aparecieron 3 errores numéricos. Por eso, las consultas de contabilidad y cotización se derivaron a un modelo que mantiene la precisión.
- Como resultado, la inversión en servidores pasó de KRW 62,000,000 (≈ US$46,400) a KRW 14,500,000 (≈ US$10,900), el tiempo de respuesta promedio bajó de 4.1 a 1.3 segundos y el costo operativo mensual pasó de KRW 3,100,000 (≈ US$2,320) a KRW 880,000 (≈ US$660). Cuatro meses después, los usuarios reales aumentaron de 90 a 310 personas.