La ecuación del muestreo (softmax con temperatura)
pi = exp( zi / T )  /  Σj exp( zj / T )
z = (3.0, 2.4, 1.9, 1.3, 0.8, 0.2), T = 0.70, top-k = 6 → «gracias» con p = 0.00

El caso. Un chatbot de atención al cliente ha de elegir la siguiente palabra de su respuesta. El modelo entrega una puntuación (logit zi) a cada candidata; la temperatura T decide si responde de forma segura y repetitiva (T baja) o creativa y arriesgada (T alta).

El muestreo — temperatura y corte
T 0.70
k 6
Los logits — lo que el modelo prefiere
sep 0.56
«perdón» 0.0

Lee así. T baja → casi greedy; T alta → barras planas y palabras raras; top-k corta a las k mejores y renormaliza. Abajo cambias los logits: sep es cuán decidido está el modelo y el segundo slider empuja a «perdón» hasta hacerla ganar. Fíjate en que aplanar los logits y subir T hacen lo mismo: solo cuenta z/T.

zi logit: puntuación bruta de cada palabra. T temperatura: divide los logits antes de exponenciar. pi probabilidad final; siempre suma 1.
Para llevarte a casa
pi = exp( zi / T ) / Σj exp( zj / T )

La idea. Un LLM no escupe texto de golpe: predice una palabra cada vez, la añade al contexto y vuelve a predecir. En cada paso el softmax con temperatura convierte los logits en probabilidades y de ahí se muestrea el siguiente token.

Negocio. T es una palanca de producto. Para respuestas de soporte (importes, políticas, condiciones) conviene T baja: consistente y sin sorpresas. Para un asistente de marketing o brainstorming, T alta aporta variedad. Ajustarla mal cuesta reputación o clientes aburridos.

Y ahora. Como cada token se factura, la longitud y la estrategia de muestreo tienen coste directo. Sobre esta base construiremos top-p (nucleus), penalizaciones por repetición y el prompting del resto del tema.

Garrido-Merchán — ecgarrido@comillas.edu — Deep Learning para Business Analytics — Día 11 · Muestreo en LLMs