Explicado paso a paso

Un Transformer es una arquitectura de red neuronal diseñada para procesar secuencias, como texto, audio o incluso imágenes, de una manera muy eficiente. Su gran innovación es que no lee palabra por palabra de forma estrictamente lineal como los modelos antiguos; en cambio, puede mirar toda la secuencia a la vez y decidir qué partes son más importantes para entender cada elemento.

Esto lo hace especialmente bueno para tareas como traducción, resumen, generación de texto y clasificación.

1. Entrada: convertir palabras en vectores

Primero, el texto se divide en tokens.
Cada token se transforma en un vector numérico llamado embedding.
Ese vector representa el significado de la palabra en un espacio matemático.

2. Añadir información de posición

Como el Transformer procesa los tokens en paralelo, necesita saber en qué orden aparecen.
Por eso se añade una codificación posicional (positional encoding), que le dice al modelo si un token está al inicio, en medio o al final.

3. Atención: decidir qué importa

El corazón del Transformer es el mecanismo de self-attention.

Para cada token, el modelo calcula:

• Query: lo que ese token está buscando
• Key: lo que cada otro token ofrece
• Value: la información que realmente se va a usar

Luego compara la query de un token con las keys de todos los demás.

Así obtiene un peso de importancia para cada token de la secuencia.
Con esos pesos, combina las values y crea una nueva representación del token, ahora enriquecida con contexto.

Ejemplo: en la frase

“El perro que estaba junto a la mesa ladró”

la palabra “ladró” puede atender fuertemente a “perro”, porque es quien realiza la acción.

4. Múltiples cabezas de atención

El Transformer no usa una sola atención, sino varias en paralelo: multi-head attention.

Cada “cabeza” aprende a fijarse en relaciones distintas:

• una puede capturar relaciones gramaticales,
• otra relaciones semánticas,
• otra dependencias a larga distancia.

Esto permite que el modelo vea la secuencia desde varios ángulos a la vez.

5. Red feed-forward

Después de la atención, cada token pasa por una pequeña red neuronal llamada feed-forward network.
Su función es transformar la información obtenida y darle más capacidad de representación.

6. Conexiones residuales y normalización

Los Transformers suelen usar:

• conexiones residuales, que ayudan a que la información fluya mejor,
• normalización, que estabiliza el entrenamiento.

Esto hace que el modelo sea más profundo y entrenable.

7. Apilado de capas

Todo esto se repite en varias capas.
Cada capa refina la representación de los tokens, captando relaciones cada vez más complejas.

8. Salida

Dependiendo de la tarea:

• en clasificación, el modelo produce una etiqueta,
• en traducción, genera una secuencia en otro idioma,
• en generación, predice el siguiente token paso a paso.

Imagina que estás en una reunión con muchas personas hablando a la vez sobre un proyecto.

Un modelo antiguo leería la conversación en orden, como si solo pudiera escuchar a una persona por vez.
Un Transformer, en cambio, tendría la capacidad de:

• escuchar a todos simultáneamente,
• decidir quién dijo algo relevante,
• relacionar comentarios lejanos en la conversación,
• y resumir todo con contexto.

La self-attention sería como tener un equipo de asistentes que, para cada frase, revisan toda la reunión y dicen:
“Esta parte es importante por lo que dijo esa otra persona hace un rato”.

Las múltiples cabezas serían varios asistentes especializados:

• uno en detectar temas,
• otro en identificar quién se refiere a quién,
• otro en notar contradicciones o relaciones temporales.

Así, el Transformer no solo oye palabras; entiende relaciones.

1. “Los Transformers entienden el lenguaje como un humano.”
   No exactamente. Aprenden patrones estadísticos muy potentes, pero no tienen comprensión humana, conciencia ni intención.

2. “La atención solo significa prestar atención a la palabra más importante.”
   No. La atención distribuye pesos entre muchos tokens a la vez. A menudo combina varias piezas de contexto, no solo una.

3. “Los Transformers siempre son mejores que cualquier otro modelo.”
   Son muy versátiles y potentes, pero no siempre son la mejor opción en todos los casos. Depende del problema, los datos, el costo computacional y la latencia requerida.