Cada vez que alguien me pregunta “¿pero cómo funciona realmente ChatGPT?”, solía encontrarme con dos respuestas prefabricadas: o un “es magia” disfrazado de explicación, o una inmersión en matemáticas avanzadas que desconectaba al interlocutor en la segunda frase. No tiene por qué ser así. Se puede explicar con rigor, sin simplificar hasta desvirtuar la realidad y sin exigir conocimientos de cálculo. Eso es exactamente lo que quiero hacer aquí.
No es magia: es un predictor de la siguiente palabra, pero a escala gigantesca
En su esencia, un LLM (Large Language Model, “modelo de lenguaje grande”) hace una sola cosa: dado un fragmento de texto, calcula cuál es la palabra más probable que debería venir a continuación. Funciona con el mismo principio que el autocorrector del teclado de tu teléfono cuando sugiere la siguiente palabra mientras escribes, solo que entrenado con una fracción sustancial de todo lo escrito públicamente en internet, con miles de millones de parámetros internos, en lugar de unas pocas conversaciones personales.
La conversación que parece tan fluida es, mecánicamente, esta predicción repetida cientos de veces: el modelo predice una palabra, la añade al final del texto, examina este texto (ahora ligeramente más largo) y predice la siguiente, una y otra vez, hasta que decide que la respuesta ha terminado. No existe un “pensamiento” consciente ocurriendo entre una palabra y otra; lo que hay es un motor de patrones estadísticos minuciosamente calibrado que se ejecuta a gran velocidad. Las IAs generativas no piensan como los humanos; simulan razonamiento mediante cálculos estadísticos y patrones aprendidos a partir de datos. Lo que aparenta ser “pensamiento” es, en realidad, un proceso de predicción secuencial altamente sofisticado.
Esto no demerita en absoluto lo que la herramienta logra. Predecir la siguiente palabra con suficiente precisión como para escribir código funcional, resumir un contrato legal o explicar un chiste sutil exige que el modelo haya capturado, en sus números internos, una representación sumamente rica de cómo funciona el lenguaje (y el mundo que este describe). Entender que la base es la predicción estadística y no el razonamiento consciente explica casi todos los comportamientos desconcertantes de estas herramientas.
De texto a números: tokens
Un modelo no lee texto de la misma forma que nosotros. Antes de procesarlo, el texto se divide en piezas más pequeñas denominadas tokens; piénsalos como piezas de un rompecabezas lingüístico. Un token puede ser una palabra entera (“casa”), un fragmento de palabra (“in” + “cre” + “íble”) o incluso un signo de puntuación.
Esta fase de tokenización explica algunas peculiaridades llamativas de los LLMs. Pedirle a un modelo que cuente cuántas letras “R” tiene la palabra “fresa”, por ejemplo, resulta ser una prueba extrañamente difícil. El modelo no está observando las letras F-R-E-S-A una por una; está viendo uno o dos tokens que representan la palabra completa en un bloque unificado. Es comparable a pedirle a alguien que cuente las letras de una palabra escrita en un alfabeto que solo reconoce visualmente de memoria, sin poder deletrearlo.
Dando significado a los números: embeddings
Cada token se transforma en una lista de números —un embedding— que sitúa el significado de ese fragmento de texto como una coordenada en un espacio matemático de miles de dimensiones. Palabras con significados o usos similares quedan posicionadas cerca unas de otras en este espacio. Un ejemplo clásico: si tomas la posición vectorial de “rey”, restas la de “hombre” y sumas la de “mujer”, el resultado aterriza muy cerca de la posición de “reina”. Al modelo nunca se le enseñó explícitamente que “reina es el femenino de rey”; esa relación geométrica emergió por sí sola a partir de la forma en que esas palabras coexisten en el texto humano.
Es este espacio multidimensional, y no un diccionario de reglas fijas, el que almacena el “entendimiento” lingüístico del modelo.
El avance fundamental: Atención
Una misma palabra puede cambiar de significado según el contexto que la rodea. “Fui a sentarme al banco del parque” y “fui a retirar dinero al banco” emplean la misma palabra para conceptos totalmente distintos. Un lector humano resuelve esta ambigüedad al instante observando el resto de la frase. Los LLMs logran esto mediante un mecanismo denominado atención (attention), el salto técnico clave introducido en 2017 (la arquitectura Transformer) que hizo posibles los modelos actuales.
En la práctica, la atención permite que cada token “observe” a todos los demás tokens de la frase y determine cuáles son relevantes para comprender su propio significado en ese contexto particular. En el ejemplo anterior, el token “parque” inclina el significado de “banco” hacia un lado; el token “dinero” lo empuja hacia el otro. Los modelos actuales realizan esto en paralelo mediante múltiples “cabezas de atención” simultáneas: una puede enfocarse en la concordancia gramatical (sujeto y verbo), otra en resolver pronombres (a quién se refiere “él” dos oraciones atrás) y otra en el tema general. Estas capas de atención se apilan decenas de veces, refinando la comprensión en cada nivel.
Texto de entrada
↓
Tokens
↓
Embeddings (números con significado semántico)
↓
Atención en múltiples capas (cada palabra "mira" a las demás)
↓
Probabilidad de cada palabra posible para la siguiente posición
↓
Palabra seleccionada y el ciclo vuelve a comenzar
¿Cómo aprende el modelo? El entrenamiento
El entrenamiento de un LLM comienza de una forma sorprendentemente directa: se toma un volumen descomunal de texto (miles de millones de páginas web), se oculta la siguiente palabra de cada fragmento y se le pide al modelo (que arranca con números totalmente aleatorios) que intente adivinarla. Al principio comete errores en casi todo. Cada error se compara con la palabra real y un algoritmo ajusta ligeramente los miles de millones de números internos del modelo (sus parámetros) en la dirección que habría hecho esa predicción un poco más acertada. Este proceso se repite billones de veces.
En ningún momento de este proceso interviene un humano “enseñando reglas gramaticales”. La gramática, los hechos sobre el mundo, el estilo de redacción e incluso nociones de razonamiento lógico emergen indirectamente, como un subproducto de volverse progresivamente mejor en predecir la siguiente palabra en textos redactados por humanos que ya dominaban la gramática, los hechos y la lógica.
De “completar frases” a “conversar como asistente”: ajuste fino (fine-tuning)
Un modelo entrenado únicamente de esta manera sabe predecir texto, pero no necesariamente sabe comportarse como un asistente útil. Ante una pregunta, podría simplemente continuar con otra pregunta similar en lugar de responder, porque eso también es estadísticamente frecuente en textos conversacionales.
Por ello existe una segunda fase de entrenamiento más breve y enfocada: el ajuste fino por instrucciones (instruction tuning). El modelo se calibra con ejemplos reales de diálogos entre un usuario que pide ayuda y un asistente que responde de forma estructurada. Luego se refina con RLHF (aprendizaje por refuerzo con retroalimentación humana), donde personas evalúan qué respuestas son más útiles, seguras y honestas. Esta fase es la que transforma un motor estadístico de texto en un asistente que sigue instrucciones.
Cómo se genera la respuesta: palabra por palabra y temperatura
Al momento de responder, el modelo ejecuta el ciclo descrito: calcula la distribución de probabilidad para cada palabra posible, elige una, la añade al texto y repite. La elección no siempre es la palabra de mayor probabilidad matemática; existe un parámetro llamado temperatura que regula cuánto se permite al modelo seleccionar opciones menos obvias. Una temperatura baja produce respuestas más deterministas y predecibles; una temperatura más alta genera mayor variedad y creatividad. Por eso la misma pregunta puede arrojar respuestas ligeramente distintas en conversaciones separadas.
Este proceso tiene además un límite físico: la ventana de contexto, es decir, la cantidad máxima de texto (medida en tokens) que el modelo puede procesar de una sola vez. Todo lo que sobrepase ese límite queda fuera; el modelo no puede consultarlo, no porque lo haya “olvidado” en sentido humano, sino porque físicamente ha salido de su ventana computacional activa.
¿Por qué alucinan?
Esta es la conclusión más relevante de todo el mecanismo: el modelo no posee una base de datos de hechos verificados que consulte antes de emitir una respuesta. Genera la continuación estadísticamente más plausible. La mayor parte del tiempo esto coincide con la verdad, porque las afirmaciones verdaderas están mucho más representadas y son más coherentes en los datos de entrenamiento que los errores aleatorios. Pero cuando el patrón más verosímil no se corresponde con la realidad —una cita académica convincente que no existe, una función de biblioteca que “tendría sentido” pero fue inventada, o una fecha errónea dicha con absoluta seguridad—, el modelo carece de un mecanismo interno de validación factual. Simplemente no sabe lo que no sabe.
Por esta razón, las herramientas de búsqueda conectadas al modelo (sistemas RAG) resultan tan valiosas: no alteran la mecánica interna de predicción, pero inyectan texto fáctico y actualizado directamente en la ventana de contexto, proporcionando al modelo una referencia real para guiar sus predicciones.
¿Qué explica esto sobre las manías de la IA?
Uniendo las piezas: trabajar con tokens explica por qué tropiezan al contar caracteres individuales. Generar el texto más plausible explica por qué suenan tan autoritarias incluso cuando se equivocan. Y ser motores estadísticos explica por qué destacan en tareas con abundante material humano (redacción, síntesis, programación en lenguajes populares) y vacilan en problemas inusuales o que requieren certeza lógica absoluta.
Existe un detalle que a menudo genera confusión: cuando usas ChatGPT o Claude con la función de memoria activada y recuerda en una sesión nueva que eres Ingeniero de Software, por ejemplo, parece que el modelo hubiera guardado ese recuerdo por sí mismo. No es así. El modelo en sí sigue siendo completamente estático y sin memoria entre conversaciones; cada nuevo chat parte de una ventana de contexto en blanco. Lo que ocurre es que la aplicación que envuelve al modelo almacena esa información en una base de datos convencional e inserta un resumen al inicio de la nueva conversación dentro de la ventana de contexto. Para el modelo, es indistinguible de que tú mismo hubieras escrito esa información nuevamente. La memoria es real y útil, pero reside en la aplicación externa, no en el cerebro estadístico que predice la siguiente palabra.
Comprender esto transforma la manera en que utilizo estas herramientas en el día a día: no desconfío de ellas por simple escepticismo, pero tampoco confío a ciegas en una respuesta solo porque venga redactada con elocuencia y aplomo. A pesar de todos sus avances, la fluidez del texto y la veracidad de los hechos son propiedades totalmente independientes en un modelo de lenguaje, un principio fundamental que conviene recordar cada vez que una respuesta aparezca con excesiva rapidez y seguridad.