O que é prompt caching?
Guardar em memória a parte fixa das instruções enviadas à IA para não reprocessá-la a cada pedido, pagando só uma fração por essa parte repetida.
Também chamado de: cache de prompt, cache de prefixo.
Uma analogia
O porteiro do clube já conhece os de sempre: não confere documento de novo, só de quem chegou agora. Economiza o tempo e o dinheiro da casa.
Esta verbete ainda não tem exemplo prático revisado, e por isso não está publicado nos buscadores. A definição e a analogia acima vêm do glossário do curso.
Onde isso aparece no curso
- Prompt engineering (critica)
- Custos de inferência (production)