Cómo los modelos de IA usan la predicción del siguiente token
Predicción del Siguiente Token · 4 min
La IA generativa se parece más a un autocompletado vastamente sofisticado que a un motor de búsqueda. Escribe respuestas palabra por palabra según lo que suele seguir a qué. Esa única propiedad te da tanto la fluidez como la alucinación.
Autocompletado a escala
Puntos clave
- La Predicción del Siguiente Token se refiere al hecho de que la IA generativa escribe respuestas palabra por palabra según lo que suele seguir a qué.
- Zona de capacidad: tareas que se parecen a patrones que el modelo ha visto muchas veces (resumir, reformatear, explicar conceptos comunes).
- Zona de limitación: territorio novedoso o escaso, y cualquier lugar donde la tarea requiera distinguir "verdadero" de "suena verdadero".
- La fabricación se concentra en la especificidad: nombres, fechas, estadísticas, citas, URLs, citas textuales. Cuanto más precisa sea una afirmación, más justifica la verificación.
- Las características del producto como las citas, la señalización de incertidumbre, la generación restringida y los bucles generador-verificador existen específicamente para empujar esta limitación más lejos.
- Conexión 4D: la Predicción del Siguiente Token es el fundamento del Discernimiento. Saber que la salida fue generada te dice exactamente qué tipo de escrutinio aplicar.
Ejercicios
La Prueba de Verificación
¿Por qué? Ahora sabes que el mismo proceso generativo que hace que la IA sea fluida es el que hace que fabrique. Es momento de verlo en tu propio terreno, en un dominio donde lo detectarás.
Vuelve a tu lista de tareas y elige la tarea en la que tengas más confianza en tu experiencia de dominio. Necesitas un tema en el que seas el experto, porque necesitas poder verificar lo que regresa. Escribe cinco hechos específicos y verificables de ese dominio: el cargo de una persona, una fecha de publicación, una estadística, una especificación de producto, una cita directa, una URL. Cosas que sabes que son precisas y que puedes confirmar de forma independiente.
Ahora ejecuta tres pruebas:
- Prueba 1: La zona de capacidad. Pide a la IA que explique o resuma un concepto bien conocido en tu dominio. Algo popular y bien documentado. Observa la fluidez. Verifica puntualmente el contenido. Así es como se siente la zona de capacidad: fluida, segura y en gran medida precisa.
- Prueba 2: Especificidad bajo presión. Pide a la IA que proporcione cinco datos específicos verificables en tu dominio: cita tres fuentes, nombra a un autor, da cifras exactas, proporciona una URL. Verifica cada uno. Califícalo sobre cinco: ¿cuántos fueron completamente precisos? Si fabrica, anota qué tan segura sonaba al hacerlo.
- Prueba 3: El muestreo en acción. Ejecuta exactamente la misma solicitud de datos específicos en una conversación nueva. Compara las dos salidas. ¿Qué se mantuvo consistente? ¿Qué cambió? La variación que ves es el muestreo de la Predicción del Siguiente Token en acción.
Meta adicional: Vuelve a ejecutar la Prueba 2 en una herramienta con citas habilitadas (como el modo Investigación en Claude). Califícala de nuevo. ¿El tener fuentes para verificar cambia la puntuación?
Reflexión de la lección
- ¿Habrías detectado fabricaciones en un dominio que no conocías bien?
- Mira tu lista de tareas: ¿qué tareas se ubican principalmente en la zona de capacidad y cuáles se adentran en la especificidad que necesita verificación?
Qué sigue
La Predicción del Siguiente Token explica cómo genera la IA. A continuación veremos a partir de qué está generando: la propiedad del Conocimiento. ¿Qué sabe realmente el modelo, de dónde proviene ese conocimiento y dónde están las brechas?