Ingeniería de contexto
Context Engineering
¿Qué es la ingeniería de contexto?
- Diseñar y proporcionar el «contexto» que se entrega al LLM
- Más allá del prompt: qué información y cómo
- Determina la calidad de RAG y de los agentes
Con la ingeniería de contexto cambia el objeto de análisis del problema de que «la IA no sabe responder». Antes se pulía la redacción de la pregunta; ahora se revisa el flujo de información que llega al modelo: qué documentos se recuperaron, dónde se cortaron y qué desplazó el historial previo. Las respuestas incorrectas suelen originarse en el material suministrado, no en el modelo, por lo que el trabajo del responsable pasa de redactar mejor las frases a diseñar el flujo de información.
Los componentes suelen ser cuatro capas: las instrucciones del sistema, los documentos recuperados (RAG), el historial de la conversación y los resultados de herramientas o consultas a bases de datos. Los modelos recientes aceptan entre 120,000 y 200,000 tokens, pero la información ubicada en medio de la ventana se consulta bastante menos que la de los extremos. Por eso, la práctica habitual es colocar la evidencia clave al principio o al final. El límite con el ajuste fino también es claro: si el problema es el tono y el formato de la respuesta, corresponde el ajuste fino; si el problema es la veracidad o la actualidad de los datos, corresponde el contexto. Si el problema es la veracidad o la actualidad, la solución está en el contexto.
El núcleo del diseño está en las reglas sobre qué no incluir, más que en qué incluir. El documento se divide en fragmentos de 500 a 1,000 caracteres, solo se suben los 3 a 5 más relevantes, se excluyen los documentos cuya fecha de revisión ya venció y la conversación que supera 20 turnos se reemplaza por un resumen. Con el mismo modelo y la misma pregunta, la tasa de respuestas correctas cambia según estas reglas. Si cada respuesta incluye el nombre del archivo fuente y su fecha de actualización, cuando hay un error se distingue rápidamente si falló la búsqueda o si falló el modelo.
El malentendido más común es pensar que «como la ventana creció, basta con meter todo». Si se adjunta completo un reglamento de 300 páginas, los artículos derogados y el proyecto de reforma de este año quedan uno al lado del otro, y el modelo responde eligiendo cualquiera de los dos. Así surgen respuestas incorrectas que parecen fundamentadas. Además, el costo de tokens y la demora de respuesta se multiplican, y cuanto más largo es el diálogo, más se diluyen las instrucciones iniciales en el historial. Diseñar qué se deja fuera es tan importante como diseñar qué se incluye.
John KimAutor de «Diseño del marketing B2B» y CEO de Nanum Consultoría. Instructor.
Seolyeong ParkEspecialista en IA generativa y AX, con 17 años de experiencia práctica y más de 200 sesiones de enseñanza, que logra que personas sin formación técnica la usen de inmediatoConcepto que surgió con el avance de la ingeniería de prompts, RAG y los agentes, y que cobra fuerza junto con la mejora práctica de los LLM.
Veamos un caso hipotético. La empresa A, distribuidora de materiales de construcción con ingresos anuales de KRW 180,000,000,000 (≈ US$134,724,500) y 240 colaboradores, lleva seis meses operando un bot de QA que responde preguntas sobre normas internas y la lista de precios. Sin embargo, el equipo de ventas preparó cotizaciones basándose en las respuestas del bot y en un mes hubo más de diez casos en que hubo que reemitir la cotización por precios equivocados. Surgió la propuesta de «cambiar a un modelo GPT mejor», pero la causa estaba en otro lado.
- El jefe de sección Kim, del equipo de TI, extrajo 80 respuestas incorrectas y las clasificó: casi la mitad se basaba en una lista de precios derogada hace dos años. En la reunión se dijo: «Resulta que el problema era el almacén, no el modelo».
- Primero ordenamos el repositorio de documentos. De 3,200 archivos, quitamos los 1,100 que no tenían ninguna indicación de fecha de revisión, y a los restantes les asignamos etiquetas de «vigente/derogado» y fecha de actualización.
- Ajustamos la configuración de búsqueda. Dividimos los documentos en fragmentos de 800 caracteres y solo traemos los 5 primeros por pregunta. Además, configuramos un filtro para que los documentos con etiqueta de derogado queden totalmente excluidos de la búsqueda.
- El gerente Lee, de la división de ventas, comentó que «la respuesta suena razonable, pero no sé de qué documento salió». Por eso modificamos la plantilla del prompt para que al pie de cada respuesta aparezcan el nombre del archivo fuente y su fecha de actualización.
- Seis semanas después, al volver a medir con las mismas 100 preguntas, la tasa de error bajó de 34% a 9%, y el promedio de tokens por llamada pasó de 18,000 a 6,000, por lo que el costo mensual de la API quedó en aproximadamente un tercio.