Pular para o conteúdo
Machine Don
COMUNIDADEENTRAR

◀ IA · 12 NOV11/15

Segurança

Pesquisa mostra que prompt injection ainda funciona contra agentes de IA

11 veículos

Pesquisadores dizem que ataques de prompt injection ainda são possíveis contra agentes de IA, apesar de um aparente platô.

  • despite this apparent plateau, prompt injection attacks are still possiblepapers.takara.ai

Um atacante agentico mais capaz consegue, de forma confiável, levar modelos a seguir instruções na saída de ferramentas.

  • an agentic attacker of increased capabilities can reliably trick model to follow instructions in tool outputpapers.takara.ai

Modelos considerados robustos em benchmarks públicos, como o GraySwan Arena, também falharam no teste.

  • even for models previously considered robust on public prompt injection benchmarks such as GraySwan Arenapapers.takara.ai

Os autores defendem red-teaming proativo e automatizado para que as defesas atuais continuem resistentes.

  • current frontier defenses may require proactive, automated red-teaming to remain resilientpapers.takara.ai

A curadoria usa IA e passa por revisão humana.

A seguir · 12/15A Microsoft descreveu o Lazarus, uma técnica de backdoor que reprograma neurônios dormentes de modelos de IA.