L'Observateur de la Superintelligence
Apple Machine Learning

Inférence locale et distribuée de grands LLM sur Mac Studio avec MLX et RDMA

L'équipe d'apprentissage automatique d'Apple explique comment faire tourner des modèles de langage de très grande taille, comme Muse Spark Open, en local et sur plusieurs machines. La méthode repose sur son framework MLX et sur le RDMA via Thunderbolt 5, avec des Mac Studio équipés de la puce M5 Ultra.

À lire aussi