IBM et d'autres contributeurs publient la version 1.0 de llm-d, un framework open source d'inférence distribuée, à la veille de la PyTorch Conference North America. Elle ajoute des contrôles opérationnels pour faire tourner de grands modèles de façon fiable sur ses propres serveurs.
Le patron d'OVHcloud révèle que le spécialiste français du cloud développe son propre grand modèle de langage, dont une première version pourrait sortir fin novembre.
DeepSeek publie sous licence Apache 2.0 DeepInfer, le framework qui sert DeepSeek-V4.1-Flash en production. Il cible les GPU NVIDIA SM100 et les NPU Huawei Ascend 950, et se limite pour l'instant à l'inférence hors ligne.
Le projet open source PS5LM Plus exploite le GPU de la PlayStation 5 pour exécuter des modèles d'IA en local à plus de 100 tokens par seconde. Il ne fonctionne que sur des consoles modifiées.
La revue régulière des modèles ouverts d'Interconnects passe en revue DeepSeek V4.1 Flash 1017, de nouveaux modèles américains et les récents contrôles réglementaires aux États-Unis et en Chine. L'auteur y voit le retour en force des modèles ouverts occidentaux.
Hugging Face consacre un billet à TorchTPU, présenté comme un moyen d'utiliser les TPU de façon native. Le titre annonce la prise en charge de ce backend dans l'écosystème Hugging Face.