Entendiendo las brechas de conocimiento en los modelos de IA
Conocimiento · 5 min
El modelo sabe lo que estuvo expuesto durante el entrenamiento, y solo eso. No hay navegación en tiempo real por defecto, ni experiencia vivida, y un corte definitivo en el límite de conocimiento. La pregunta práctica no es "¿sabe esto la IA?" sino "¿qué tan bien representado estaba esto en lo que leyó?"
Lo que el modelo leyó, y cuándo dejó de leer
Puntos clave
- Lo que la IA generativa sabe proviene enteramente de los datos de entrenamiento y está congelado en el límite de conocimiento. Sin herramientas, no tiene acceso a ninguna información posterior a esa fecha.
- Zona de capacidad: temas que aparecieron con frecuencia, recientemente (dentro del entrenamiento) y de manera consistente en los datos de entrenamiento.
- Zona de limitación: temas raros, posteriores al corte, de nicho, locales o controvertidos.
- Fallas características: obsolescencia, cobertura desigual, sesgo heredado en lo que cuenta como "predeterminado" o "normal", e incapacidad para atribuir de dónde proviene el conocimiento.
- La búsqueda web, la recuperación (RAG/MCPs) y el uso de herramientas existen específicamente para corregir estas brechas al darle al modelo acceso a información con la que nunca fue entrenado.
- Conexión con las 4D: La desigualdad del conocimiento es fundamental para la Delegación. Entender dónde el modelo está bien abastecido frente a dónde es limitado te indica cuándo delegar, cuándo proporcionar contexto tú mismo y cuándo buscar en otro lugar.
Ejercicios
La prueba del forastero
¿Por qué? Sabes que el conocimiento del modelo es amplio pero está congelado, moldeado por lo que había en sus datos de entrenamiento. Ahora vas a mapear exactamente dónde está bien abastecido y dónde es limitado en tu dominio específico.
Vuelve a tu lista de tareas y selecciona una tarea. En relación con esa tarea, anota:
- Dos temas que sean convencionales, bien documentados y estables. El tipo de cosa que cualquier colega informado sabría.
- Dos temas que sean de nicho, locales, recientes o que evolucionen rápidamente. Jerga específica de la industria, regulaciones regionales, algo que cambió en el último año.
- Una "suposición predeterminada" que los forasteros de tu campo suelen entender mal. (Quién es el cliente típico. Cómo se ve un caso "estándar". Qué herramienta usa realmente la gente frente a la que recibe atención mediática.)
Ahora realiza tres sondeos:
- Sondeo 1: Cobertura. Pregunta sobre un tema convencional y uno de nicho de tu lista. Compara la profundidad y la precisión. Presta atención a si la IA señala la incertidumbre de manera diferente entre los dos, o si ambas respuestas vienen con el mismo tono confiado.
- Sondeo 2: Obsolescencia. Pregunta sobre algo que sabes que ha cambiado recientemente en tu campo: una actualización de regulación, el lanzamiento de una herramienta, un cambio de liderazgo, un estándar revisado. ¿La IA reconoce el límite de conocimiento? ¿Presenta información obsoleta como actual? ¿Se niega a responder? Anota qué sucede.
- Sondeo 3: Suposiciones predeterminadas. Sin nombrar tu suposición directamente, haz una pregunta que revele si la IA recurre por defecto a la visión del forastero. Por ejemplo, si el cliente "estándar" de tu campo es diferente de lo que la mayoría de la gente asume, pídele a la IA que describa al cliente típico. Anota qué trata como normal.
Vuelve a tu lista de tareas y agrega una segunda anotación: para cada tarea, marca si puedes apoyarte en el conocimiento del modelo, o si necesitas aportar el conocimiento tú mismo mediante contexto, documentos o búsqueda.
Meta adicional: Vuelve a ejecutar el sondeo de obsolescencia con la búsqueda web habilitada. Compara qué cambia. Esto es la recuperación en acción.
Reflexión de la lección
- ¿Cuál es un área de tu trabajo donde ahora te das cuenta de que necesitas aportar contexto en lugar de asumir que el modelo lo tiene?
- ¿El sondeo de suposiciones predeterminadas reveló algo que te sorprendiera?
Qué sigue
El Conocimiento cubre lo que el modelo absorbió durante el entrenamiento. La Memoria de Trabajo cubre en qué está prestando atención ahora mismo: tu prompt, tus documentos, tu conversación. Esta propiedad tiene el límite más difícil de las cuatro.