Entrenamiento · Inferencia
Training / Inference
¿Qué es el entrenamiento?
- Entrenamiento = la etapa de enseñar al modelo
- Inferencia = la etapa de usar el modelo entrenado
- Naturaleza del costo distinta
Al separar el entrenamiento de la inferencia, el presupuesto de IA cambia de naturaleza. El entrenamiento se parece a una inversión en equipos: se paga una cifra grande una sola vez y termina. La inferencia se parece a la factura de electricidad: el medidor gira cada vez que un colaborador hace una pregunta. Por eso, “¿cuánto cuesta esta IA?” en realidad son dos preguntas. Si no se separa lo que cuesta crearla de lo que cuesta usarla mientras esté en servicio, la propuesta puede aprobarse sin problemas, pero al año siguiente el costo operativo superará el presupuesto. El entrenamiento deja de costar cuando termina; la inferencia no se detiene mientras el servicio esté activo. La mayoría de las empresas no entrena directamente: compra inferencia, y en ese punto el foco de la revisión cambia por completo.
Si se separa más el concepto, el aprendizaje también tiene niveles. El preentrenamiento, que alimenta al modelo con billones de tokens para crear el modelo en sí, es terreno de las grandes tecnológicas; lo que una empresa puede tocar es el ajuste fino (fine-tuning), que con cientos o miles de ejemplos afina el tono y el formato de salida. En cambio, el conocimiento que cambia con frecuencia, como un reglamento interno o una tabla de precios, no se resuelve con aprendizaje sino con el método de buscar y adjuntar el documento correspondiente en el momento de preguntar (RAG). La inferencia se factura por token, y como el precio de salida suele ser varias veces mayor que el de entrada, la factura anual puede duplicarse según se limite la respuesta a 600 caracteres o se permita desarrollarla hasta 2,000.
En el terreno, el error más frecuente es esperar que “si entrenamos el modelo con nuestros datos, sabrá todo”. Un modelo con ajuste fino adopta el tono de la empresa, pero no conoce la lista de precios que cambió el mes pasado, y aun así cita cifras antiguas con total seguridad. Si esa respuesta llega a una cotización y se envía tal cual al cliente, se convierte en un incidente. Otro error es multiplicar el costo del piloto directamente por el número de usuarios de toda la empresa. Si una herramienta que usaban diez personas se abre a trescientas, no solo crece el número de usuarios: también crecen las consultas por persona y la longitud de los documentos adjuntos, así que el costo supera con creces la multiplicación aritmética. El costo de inferencia se suma con cada uso, y el plan de expansión debe partir de esa premisa.
John KimAutor de «Diseño de marketing B2B» y CEO de Nanum Consultoría
Ara LimEspecialista en liderazgo global, IA y comunicación empresarialEs la distinción básica del aprendizaje automático. En la era de los modelos grandes se volvió especialmente importante la economía del «entrenamiento (un costo único enorme)» y la de la «inferencia (un costo que se genera cada vez que se usa)».
Veamos un caso ficticio. Se trata de A, un fabricante de válvulas industriales con 320 colaboradores y ventas anuales de unos KRW 85,000,000,000 (≈ US$63,619,900). Las consultas técnicas de distribuidores extranjeros llegaban a 40–60 por día, y el primer tiempo de respuesta promedio era de 4.2 horas, por lo que las reclamaciones se acumulaban. La dirección ordenó “entrenar la IA con el manual”, y el Equipo de Estrategia de Información inició la revisión con un plazo de seis meses.
- Kim, subgerente del Equipo de Estrategia de Información, propuso entrenar un modelo con las 12,000 páginas del manual en inglés. La cotización externa fue de KRW 120,000,000 (≈ US$89,800) por tres meses, y la reunión se detuvo en ese punto.
- El consultor propuso separar el conocimiento que cambia del tono que no cambia. El manual se mantiene como documentos que se buscan y adjuntan, y el ajuste fino se hizo solo con 800 respuestas de consultas anteriores para definir el formato de las respuestas.
- En un piloto de tres semanas con 12 agentes de atención al cliente, el costo mensual de inferencia fue de KRW 180,000 (≈ US$135) y el tiempo para redactar un borrador de respuesta bajó de 22 a 7 minutos por caso. El líder de equipo dijo: “con este precio, abramos el servicio a toda la empresa”.
- La gerente Lee, del Equipo de Finanzas, recalculó con 140 usuarios y obtuvo KRW 2,100,000 (≈ US$1,570) al mes. Solo después de limitar las respuestas a 600 caracteres y guardar en caché las preguntas repetidas, bajó a un monto en el rango de KRW 900,000 (≈ US$675) mensuales y aprobó la expansión.
- Seis meses después, el primer tiempo de respuesta bajó de 4.2 horas a 40 minutos. El ajuste fino se hizo una sola vez por KRW 3,200,000, (≈ US$2,400) y el costo mensual de inferencia se mantiene en KRW 940,000 (≈ US$705). Cuando cambia la lista de precios, basta con reemplazar el documento.