El caso. Un equipo de analítica busca los dos ajustes (hiperparámetros λ1 y λ2) que minimizan el error de validación de su modelo. Cada evaluación cuesta tiempo y dinero (reentrenar), así que la pregunta es: con un presupuesto de N pruebas, ¿cómo las repartimos?
Lee así. El fondo es el mapa de error (oscuro = bajo error = bueno). Las cruces son las pruebas realizadas; el anillo dorado es la mejor encontrada y la estrella marca el óptimo real. Sube N y el término N se enciende.
La idea. Buscar hiperparámetros es optimizar una función cara y sin fórmula: cada evaluación es reentrenar y medir en validación. Hay tres planes clásicos de reparto del presupuesto.
Negocio. Menos pruebas para la misma calidad = menos horas de cómputo y menos coste en la nube. En modelos caros (deep learning, grandes tabulares), la búsqueda bayesiana ahorra mucho.
El dial clave. La malla es exhaustiva pero explota con la dimensión; el azar cubre mejor cada eje; la bayesiana usa un modelo sustituto (GP) y la mejora esperada (EI) para explorar donde hay incertidumbre y explotar donde el error es bajo.
Y ahora. La curva muestra el mejor error hallado según el nº de evaluaciones: la bayesiana baja antes. Todo se hace sobre validación; el test se reserva para el final.