O que é Mixture-of-Experts?
Arquitetura em que o modelo tem várias sub-redes especialistas e um selecionador escolhe só algumas pra cada pedido, economizando esforço de cálculo.
Também chamado de: moe, mixture of experts, mistura de especialistas.
Uma analogia
A Família tem especialista pra cada serviço: cofre, motorista, contador. O capo chama só os dois certos pro trabalho da noite, nunca a firma toda.
Esta verbete ainda não tem exemplo prático revisado, e por isso não está publicado nos buscadores. A definição e a analogia acima vêm do glossário do curso.
Onde isso aparece no curso
- Mixture-of-Experts (MoE) (deep-learning)