Tsinghua publie en open source AKV, un serveur d'ingénierie du cache pour agents LLM basé sur SGLang
Des chercheurs de Tsinghua publient AKV, un système de service fondé sur SGLang qui permet aux agents LLM de supprimer ou déplacer des éléments de leur cache KV au lieu de résumer leur historique. Sur quatre bancs d'essai d'agents, le coût moyen baisse de 27,7 %.