Práctica Día 09 — Multi-head self-attention a mano

Curso: Deep Learning para Business Analytics — Comillas (ICADE).

Implementa multi-head self-attention con numpy, verifica contra PyTorch, y visualiza los heatmaps de atención de un RoBERTa preentrenado en español.

Rúbrica (10 pts)

• Implementación (3). numpy + verificación PyTorch.
• Ejercicio 9.1 (2). Cálculo a mano con 3 tokens y dim 2.
• Ejercicio 9.2 (3). Heatmaps por cabeza sobre frase en español.
• Análisis sin IA 9.3 (2). Por qué Transformer dominó.