Few-shot · Zero-shot
Few-shot / Zero-shot
¿Qué es el few-shot?
- Zero-shot = directo, sin ejemplos
- Few-shot = dar unos pocos ejemplos
- Lo básico para mejorar el rendimiento de los prompts
La diferencia entre zero-shot y few-shot está en si hay ejemplos o no, pero en la práctica lo que marca la diferencia es la variación en la salida. Con zero-shot, el modelo interpreta la instrucción a su manera, así que la extensión, el número de puntos y el tono cambian cada vez, aunque la solicitud sea la misma. En cambio, con few-shot los ejemplos funcionan como una especificación de salida, y por eso replican tonos o formatos que sería difícil describir con palabras. Al pedir que se resuman actas de reunión, la instrucción «solo lo esencial, de forma breve» se interpreta distinto según quien la lea; pero si se adjunta como versión final un acta de la semana pasada, el criterio queda fijado de una vez. Muchas veces dos buenos ejemplos resultan más rápidos que añadir diez líneas más a la instrucción.
Más ejemplos no siempre significan mejores resultados. En tareas de clasificación o extracción, donde la forma de la respuesta está definida, normalmente bastan de 3 a 5. Con más, solo aumentan los tokens y la precisión casi no sube. Lo que sí importa es la composición de los ejemplos: hay que equilibrar la cantidad por etiqueta, incluir a propósito casos límite confusos y tener en cuenta el sesgo de que los ejemplos colocados al final pesan más en el resultado. Un solo ejemplo (one-shot) también sirve bastante para fijar el formato. Sin embargo, las tareas que requieren conocimiento propio de la empresa no son terreno del few-shot, sino de RAG o del fine-tuning. Los ejemplos enseñan «cómo responder», pero no completan hechos que el modelo desconoce.
El error más común en la práctica es pegar datos reales de clientes tal cual en los ejemplos. Si se usa como muestra un correo con nombres, teléfonos o montos de contrato, el propio prompt se convierte en una vía de filtración. También hay quienes creen que, cuantos más ejemplos, mejor, y pegan 20 de una vez; sin embargo, un prompt largo encarece y ralentiza las respuestas. Otro problema es que los ejemplos envejecen: si se mantiene un ejemplo hecho con la plantilla de informe del año pasado, la IA ignora el formato revisado y sigue produciendo el antiguo. Cuando el resultado sale raro, muchos equipos siguen corrigiendo las instrucciones sin encontrar la causa. Lo primero que hay que revisar son los ejemplos.
John KimAutor de «Diseño de marketing B2B» y CEO de Nanum Consultoría
Ara LimEspecialista en liderazgo global, IA y comunicación empresarialEn 2020, el artículo de OpenAI sobre GPT-3, «Language Models are Few-Shot Learners», mostró que los grandes modelos de lenguaje pueden realizar tareas nuevas con solo unos pocos ejemplos, y difundió el concepto.
Veamos un caso hipotético. El equipo de atención al cliente de A, una distribuidora de componentes industriales con 210 colaboradores e ingresos anuales de KRW 48,000,000,000, (≈ US$35,926,500) recibía unos 320 correos de clientes al día y los repartía entre sus responsables en cuatro categorías: entrega, devoluciones, cotizaciones y técnica. Dos asistentes pasaban la mañana entera en esta tarea, y cada semana regresaban 40 correos mal clasificados. Decidieron resolverlo en tres semanas, ajustando solo el prompt y sin desarrollar ningún sistema.
- El gerente Kim, del equipo de CS, solo escribió «Clasifica este correo como entrega, devolución, cotización o técnica», y el mismo correo recibió por la mañana la respuesta «cotización» y por la tarde «técnica».
- El gerente Kim eligió los tipos de correo que más se clasificaban mal en los últimos tres meses y creó 6 ejemplos, cada uno con el texto original y su etiqueta correcta, equilibrados con exactamente 1 o 2 por categoría.
- Al poner los ejemplos al inicio del prompt y añadir una línea que dice «si no está claro, responde “pendiente”», bajaron notablemente las respuestas que forzaban los correos en el límite entre categorías.
- Al probar 100 casos y releer los 17 errores, se vio que los 3 ejemplos de devolución eran todos casos de cambio simple, por lo que los reclamos complejos que incluían daños en el envío se estaban clasificando como devoluciones.
- El gerente Kim reemplazó 2 ejemplos por casos de reclamos complejos y acordó con el líder de equipo revisar los ejemplos cada trimestre.
- Cuatro semanas después, los correos de reenvío bajaron de 40 a 7 por semana, y el tiempo dedicado a clasificarlos pasó de 4 horas diarias a 40 minutos. El gerente Kim dijo: «Seis líneas de ejemplos equivalen al trabajo de una persona».