O que é inferência?
Usar um modelo já treinado para responder a um dado novo. É a parte que roda cada vez que alguém usa o produto, e é nela que está boa parte do custo.
Também chamado de: inference.
Uma analogia
O treino é o soldato estudando o bairro por meses; a inferência é cada vez que ele responde a uma pergunta na rua.
Onde isso aparece no curso
- LLMs por dentro (deep-learning)
- Quantização (deep-learning)
- Causal inference (especialidades)