Cómo la ventana de contexto afecta los resultados de la IA generativa
Memoria de trabajo · 6 min
Todo aquello a lo que la IA presta atención vive dentro de un espacio de trabajo de tamaño fijo llamado la ventana de contexto. Puede atender a lo que está ahí. No puede atender a nada fuera de eso. Esa restricción es tajante de una manera en que las otras propiedades no lo son: las cosas funcionan hasta que dejan de funcionar.
La ventana de contexto: la memoria de trabajo de la IA
Puntos clave
- Memoria de trabajo es el hecho de que el modelo de IA tiene una ventana de contexto fija a la que puede atender.
- Zona de capacidad: tu material cabe cómodamente, la sesión es actual, estás proporcionando contexto relevante.
- Zona de limitación: documentos o conversaciones muy largos, esperar continuidad entre sesiones, enterrar información crítica en medio de una entrada larga.
- Esta propiedad tiene un precipicio en lugar de un gradiente. El truncamiento silencioso es el modo de fallo, y no siempre se te advertirá.
- El modelo no aprende de tus correcciones. Solo responde a lo que está actualmente en el contexto.
- Las funciones de memoria, la compactación, los proyectos, las ventanas más grandes y los flujos de trabajo multiagente existen para alejar este precipicio.
- Conexión 4D: la Memoria de trabajo es sobre lo que actúa la Descripción. Saber cómo funciona la ventana te indica cómo estructurar el contexto, cuándo anteponer información y cuándo empezar de nuevo.
Ejercicios
El antes y el después
¿Por qué? El contexto es apalancamiento. La misma tarea, con el contexto adecuado proporcionado, puede pasar de un primer borrador mediocre a algo genuinamente útil. Este ejercicio hace eso concreto.
Elige una tarea de tu lista de la Lección 1 que se beneficie de contexto que solo tú posees: una guía de estilo, un ejemplo pasado de buen trabajo, un conjunto de restricciones específicas para tu rol o audiencia. Escribe en dos o tres líneas cómo se ve "bueno" para el resultado de esta tarea, descrito con suficiente claridad para que un desconocido pudiera evaluarlo.
Ahora ejecuta tres pruebas:
- Prueba 1: Inicio en frío vs. contexto. Solicita tu tarea sin ningún contexto. Solo la petición básica. Guarda el resultado. Luego inicia una conversación nueva y ejecuta la misma tarea, esta vez proporcionando tu guía de estilo, ejemplo pasado o restricciones de antemano. Compara ambos resultados con tu definición de "bueno". Mide la brecha.
- Prueba 2: Perdido en el medio. Toma un documento más largo (o pega juntos algunos párrafos de material de referencia). Entierra una instrucción específica e importante en medio de él. Haz una pregunta cuya respuesta correcta dependa de esa instrucción enterrada. ¿La IA la captó? Ahora mueve esa instrucción hasta el principio y pregunta de nuevo. Compara.
- Prueba 3: La pizarra en blanco. Ten un intercambio breve en el que le enseñes a la IA algo específico sobre tu contexto de trabajo, o la corrijas en algo que hizo mal. Luego abre una conversación completamente nueva y haz una pregunta que asuma que recuerda lo que le enseñaste. Observa cómo empieza desde cero.
Vuelve a tu lista de tareas y añade una tercera anotación: qué tareas necesitan contexto permanente configurado (un proyecto, instrucciones guardadas, documentos de referencia subidos) para que valga la pena ejecutarlas, y cuáles funcionan bien en frío.
Meta adicional: Si tu herramienta tiene funciones de memoria o de proyectos, configura una con el contexto de la Prueba 1. Ejecuta la tarea de nuevo. Compara el esfuerzo y la calidad con la versión de inicio en frío.
Reflexión de la lección
- ¿Cuánto cambió la calidad del resultado al anteponer el contexto? ¿Fue la brecha mayor de lo que esperabas?
- ¿Cuál es una pieza de contexto permanente que configurarás esta semana para dejar de explicarte de nuevo?
Qué sigue
La propiedad final: Dirigibilidad. ¿Cuánto control tienes realmente cuando das instrucciones, y dónde se rompe ese control?