Pular para o conteúdo
Machine Don
COMUNIDADEENTRAR

◀ IA · 9 NOV10/15

Pesquisa

Simulações testam agentes de IA antes de chegar ao cliente

9 veículos Carrossel 10

A Nubank avaliou configurações de modelos em mais de 16,000 conversas simuladas.

  • We also screened open-weight configurations in over 16,000 simulated conversations.arxiv.org

A iteração guiada por simulação elevou o tNPS em 36.69 pontos em um teste A/B ao vivo.

  • Simulation-guided iteration increased transactional net promoter score (tNPS) by 36.69 points in a live A/B test.arxiv.org

O IVG-Bench, da Salesforce, avaliou 14 assistentes visuais de IA em 315 cenários.

  • we created IVG-Bench to evaluate 14 leading visual AI assistants across 315 complex scenarios in three operational environmentssalesforce.com

O melhor modelo, Gemini 4 Argon, teve 53.4% de sucesso na tarefa dentro do prazo.

  • Even the strongest, Gemini 4 Argon, achieves only 53.4% task success within the time limitsalesforce.com

Carrossel

  1. Slide 1 de 10: Antes de atender clientes, a IA do Nubank conversa com quem?
  2. Slide 2 de 10: Clientes inventados testam a IA antes, em mais de 16 mil conversas.
  3. Slide 3 de 10: Nem com funcionário testando na mão, nem com cliente de verdade servindo de cobaia.
  4. Slide 4 de 10: Teste manual cobre pouca coisa, porque ninguém consegue imaginar todas as perguntas. E testar direto com o público expõe clientes a erros que podem minar a confiança no banco.
  5. Slide 5 de 10: A resposta está num simulador chamado Snowglobe: clientes inventados por computador conversam com o assistente e reagem a cada resposta, como um cliente real reagiria.
  6. Slide 6 de 10: Pensa assim: é um ensaio geral antes da estreia. Até as consultas aos sistemas do banco são de mentira, então nada real é mexido enquanto a IA é testada.
  7. Slide 7 de 10: E o palco escolhido para o ensaio não foi pequeno.
  8. Slide 8 de 10: O teste foi feito no assistente de cartões, o atendimento por chat com mais movimento do Nubank no Brasil. Em outras palavras, um lugar onde errar custa caro.
  9. Slide 9 de 10: O Nubank comparou quatro versões do assistente que já tinham ido ao ar. As notas no simulador e as notas com clientes de verdade andaram muito juntas.
  10. Slide 10 de 10: Os ajustes guiados pelo simulador subiram em 36,69 pontos a nota que mede se o cliente recomendaria o atendimento, num teste ao vivo comparando duas versões com clientes reais.

A curadoria usa IA e passa por revisão humana.

A seguir · 11/15Nvidia abre investigação sobre CEO Jensen Huang