Pular para o conteúdo
Machine Don
COMUNIDADEENTRAR

◀ IA · 26 OUT13/15

Pesquisa

TokenGate acelera o prefill de LLMs com contexto longo

2 veículos Carrossel 10

Pesquisadores de Stanford e UC Berkeley lançaram o TokenGate, um módulo para prefill de contexto longo.

  • Stanford and UC Berkeley researchers released TokenGate, a module for long-context prefill.marktechpost.com

Segundo os autores, o TTFT fica de 1.4x a 11.3x mais rápido, sem perda de precisão.

  • The research team reports 1.4x to 11.3x faster time-to-first-token (TTFT) with no accuracy loss.marktechpost.com

O pico de memória do prefill cai de 1.5x a 3.4x.

Carrossel

  1. Slide 1 de 10: A IA consegue ler textos enormes sem ficar mais lenta?
  2. Slide 2 de 10: A IA pula trechos secundários e ganha até 11,3 vezes de velocidade.
  3. Slide 3 de 10: Parece difícil, mas a ideia por trás disso é simples:
  4. Slide 4 de 10: O TokenGate é um módulo pequeno, criado por pesquisadores de Stanford e UC Berkeley, que se encaixa em modelos de IA já existentes.
  5. Slide 5 de 10: Normalmente, cada token, que é um pedacinho de palavra, passa por todas as camadas do modelo. Quanto mais longo o texto, mais caro fica esse trabalho.
  6. Slide 6 de 10: O TokenGate põe uma espécie de filtro no meio do caminho. Depois da leitura inicial, ele dá uma nota a cada token e mantém só os mais importantes para seguir até o fim.
  7. Slide 7 de 10: Quem decide o que sobra é uma peça treinada para isso.
  8. Slide 8 de 10: Só a parte do documento enviado pode ser reduzida, enquanto a pergunta feita à IA nunca é cortada. Assim, o corte atinge o material de apoio e deixa intacto o que foi perguntado.
  9. Slide 9 de 10: Nos testes com o modelo Qwen3-1.7B, a primeira palavra da resposta aparece entre 1,4 e 11,3 vezes mais rápido, sem perda de precisão.
  10. Slide 10 de 10: Essa economia aparece também na memória: o pico usado no processamento cai entre 1,5 e 3,4 vezes em relação ao modo tradicional, que lê o texto inteiro.

A curadoria usa IA e passa por revisão humana.

A seguir · 14/15Nanbeige lança modelo aberto de programação agêntica