◀ IA · 26 OUT13/15
Pesquisa
TokenGate acelera o prefill de LLMs com contexto longo
Pesquisadores de Stanford e UC Berkeley lançaram o TokenGate, um módulo para prefill de contexto longo.
Stanford and UC Berkeley researchers released TokenGate, a module for long-context prefill.
marktechpost.com
Segundo os autores, o TTFT fica de 1.4x a 11.3x mais rápido, sem perda de precisão.
The research team reports 1.4x to 11.3x faster time-to-first-token (TTFT) with no accuracy loss.
marktechpost.com
O pico de memória do prefill cai de 1.5x a 3.4x.
Peak prefill memory drops 1.5x to 3.4x.
marktechpost.com











