◀ IA · 12 NOV11/15
Segurança
Pesquisa mostra que prompt injection ainda funciona contra agentes de IA
Pesquisadores dizem que ataques de prompt injection ainda são possíveis contra agentes de IA, apesar de um aparente platô.
despite this apparent plateau, prompt injection attacks are still possible
papers.takara.ai
Um atacante agentico mais capaz consegue, de forma confiável, levar modelos a seguir instruções na saída de ferramentas.
an agentic attacker of increased capabilities can reliably trick model to follow instructions in tool output
papers.takara.ai
Modelos considerados robustos em benchmarks públicos, como o GraySwan Arena, também falharam no teste.
even for models previously considered robust on public prompt injection benchmarks such as GraySwan Arena
papers.takara.ai
Os autores defendem red-teaming proativo e automatizado para que as defesas atuais continuem resistentes.
current frontier defenses may require proactive, automated red-teaming to remain resilient
papers.takara.ai

