Modal va faire tourner Sandboxes, son produit d'exécution d'agents IA, sur le processeur Arm Vera de Nvidia, abandonnant pour la première fois l'x86. Ses propres tests montrent jusqu'à deux fois plus de tâches traitées qu'un serveur Intel, des résultats qui n'ont pas été vérifiés de façon indépendante.
Tenstorrent, qui se pose en concurrent de Nvidia, lève 1,5 milliard de dollars et atteint une valorisation de 6,2 milliards. Courtisée par des acquéreurs plus tôt dans l'année, l'entreprise a choisi de rester indépendante.
Face au doublement du coût par exécution de son outil de revue de code par IA, Cloudflare a analysé sa consommation de tokens. La mise en cache des prompts et un aiguillage intelligent entre modèles ont réduit sa facture d'inférence de 68 % tout en accélérant les revues.
Le chancelier allemand Friedrich Merz et le patron de NVIDIA, Jensen Huang, ont débattu de la feuille de route allemande en matière d'IA dans une ancienne centrale électrique de Berlin, avec l'industrie au cœur des échanges. Jensen Huang a rappelé les liens anciens de NVIDIA avec l'industrie allemande, du jeu vidéo à l'automobile.
Amazon lance TorchNeuron, un backend open source qui permet de faire tourner du code PyTorch sur ses puces Trainium en modifiant une seule ligne. Disponible en bêta publique le 20 octobre sous licence Apache 2.0, il prend en charge Trainium2 et Trainium3, mais pas encore toutes les fonctions de PyTorch.
Intel confirme que ses futures puces Razer Lake-AX offriront près de quatre fois plus de performances en IA que ses solutions actuelles. Objectif : faire tourner de gros LLM, mais surtout servir de cerveau aux prochains robots humanoïdes.