O que é atenção?
Mecanismo que deixa o modelo pesar quais partes da entrada importam mais para cada palavra que ele processa.
Também chamado de: attention, mecanismo de atenção.
Uma analogia
O olhar do segurança no salão lotado: todo mundo está lá, mas ele foca em quem importa para o momento.
Onde isso aparece no curso
- Transformer (deep-learning)
- LLMs por dentro (deep-learning)
- Viés e fairness (critica)