La ecuación de LoRA
W′ = W + ( α / r )·B·A
W′ = W + ( 8 / 4 )·B·A , escala = 2.00 , capa 1024×d

El caso. Una empresa SaaS quiere adaptar un LLM enorme a su dominio (soporte, jerga interna, tono de marca) sin pagar el coste de reentrenarlo entero. LoRA congela los pesos originales W y solo entrena dos matrices finas, B y A, de rango r.

El adaptador — rango y escala
r 4
α 8
El modelo base — tamaño de la capa que adaptas
d 1024

Lee así. Al subir r el coste entrenable sube de forma lineal, siempre minúsculo frente a W. α no cambia el coste: solo escala la actualización, α/r. Y d es el modelo que te toca adaptar: el completo crece como d² y LoRA como d, así que cuanto más grande es el modelo, más gana LoRA (ahorro × d/2r).

W pesos originales, congelados (no se entrenan). r rango: grosor de B y A. α escala que gradúa cuánto se aplica la actualización. d dimensión de la capa base: fija el tamaño de W (d×d).
Para llevarte a casa
W′ = W + (α/r)·B·A    (W congelada)

La idea. En vez de tocar los millones de pesos de W, LoRA aprende una corrección de rango bajo: el producto B·A. Dos matrices finas bastan para reorientar el modelo hacia tu dominio.

Negocio. La empresa SaaS entrena en horas, en una sola GPU, y guarda un adaptador de pocos MB por cliente en vez de una copia entera del modelo. Menos cómputo, menos memoria, despliegue barato.

Y ahora. LoRA adapta el qué sabe el modelo. Alinear el cómo responde con las preferencias humanas es otra vía: RLHF y DPO. Combinadas, adaptan un LLM al negocio a coste contenido.

Garrido-Merchán — ecgarrido@comillas.edu — Deep Learning para Business Analytics — Día 16 · LoRA