Cloudflare réduit de 68 % sa facture d'inférence à force d'optimisation
Face au doublement du coût par exécution de son outil de revue de code par IA, Cloudflare a analysé sa consommation de tokens. La mise en cache des prompts et un aiguillage intelligent entre modèles ont réduit sa facture d'inférence de 68 % tout en accélérant les revues.