Faire tourner Underdog Saluki 27B, une version 2 bits de Qwen3.8-27B, pour l'appel d'outils
Un guide pratique compare Underdog Saluki 27B, une version 2 bits de Qwen3.8-27B, à la quantification GSQ-RCO de l'ISTA. Il examine les en-têtes GGUF, la consommation mémoire et les performances d'appel d'outils sur le banc d'essai BFCL avec llama.cpp standard.