TokenGate, de Stanford et UC Berkeley, accélère jusqu'à 11,3 fois le pré-remplissage des longs contextes
TokenGate est un module d'élagage de jetons appris, qui s'intègre directement aux modèles de langage existants. Ses auteurs annoncent un premier jeton obtenu 1,4 à 11,3 fois plus vite sur les longs contextes et un pic de mémoire réduit de 1,5 à 3,4 fois, sans perte de précision.