El caso. Un chatbot de atención al cliente ha de elegir la siguiente palabra de su respuesta. El modelo entrega una puntuación (logit zi) a cada candidata; la temperatura T decide si responde de forma segura y repetitiva (T baja) o creativa y arriesgada (T alta).
Lee así. T baja → casi greedy; T alta → barras planas y palabras raras; top-k corta a las k mejores y renormaliza. Abajo cambias los logits: sep es cuán decidido está el modelo y el segundo slider empuja a «perdón» hasta hacerla ganar. Fíjate en que aplanar los logits y subir T hacen lo mismo: solo cuenta z/T.
La idea. Un LLM no escupe texto de golpe: predice una palabra cada vez, la añade al contexto y vuelve a predecir. En cada paso el softmax con temperatura convierte los logits en probabilidades y de ahí se muestrea el siguiente token.
Negocio. T es una palanca de producto. Para respuestas de soporte (importes, políticas, condiciones) conviene T baja: consistente y sin sorpresas. Para un asistente de marketing o brainstorming, T alta aporta variedad. Ajustarla mal cuesta reputación o clientes aburridos.
Y ahora. Como cada token se factura, la longitud y la estrategia de muestreo tienen coste directo. Sobre esta base construiremos top-p (nucleus), penalizaciones por repetición y el prompting del resto del tema.