El caso. Netflix sirve millones de peticiones por segundo. En vez de pasar cada una por una red gigante, un router mira la entrada y la manda solo a los k expertos más adecuados de entre 6. El resto de la red ni se enciende: mismo acierto, mucho menos cómputo.
Lee así. k fija cuántos expertos se activan. x1 y x2 son la petición que llega (género y longitud del historial): al moverla, el router elige otros expertos. En el gráfico, los k elegidos van en dorado y los descartados en gris.
La idea. Un Mixture of Experts sustituye una red densa por muchos expertos especializados más un router que elige a cuáles preguntar. El modelo tiene enormes parámetros totales, pero solo activa una fracción por petición (cómputo disperso, no denso).
Negocio. Es la palanca de coste de los grandes modelos: duplicas capacidad sin duplicar la factura de GPU. Netflix, Google o Mistral usan MoE para servir modelos gigantes a millones de usuarios pagando solo por los expertos que de verdad se encienden.
Y ahora. MoE no es la única alternativa al Transformer denso: los modelos de espacio de estados (Mamba / SSM) atacan otro cuello de botella, el coste cuadrático n² de la atención, con un coste lineal en la longitud de la secuencia. Distintas rutas hacia el mismo objetivo: más capacidad, menos cómputo.