O que é multi-head attention?
O modelo lê o texto por vários ângulos ao mesmo tempo: várias 'cabeças' analisam em paralelo e cada uma aprende a notar um tipo de padrão diferente.
Também chamado de: multi-head, multihead attention, atenção multi-cabeça.
Uma analogia
O Don põe vários soldati vigiando a mesma rua, cada um de um ponto: um olha carros, outro rostos, outro horários. Juntos, não escapa nada.
Esta verbete ainda não tem exemplo prático revisado, e por isso não está publicado nos buscadores. A definição e a analogia acima vêm do glossário do curso.
Onde isso aparece no curso
- Transformer (deep-learning)