StepFun publie les poids de Step 5 Preview : MoE de 600 milliards, 27 milliards actifs, contexte d'un million
StepFun met en ligne les poids ouverts de Step 5 Preview, en FP8 et BF16, sur Hugging Face et ModelScope. Ce modèle à mélange d'experts, pensé pour les tâches agentiques de longue haleine, compte 600 milliards de paramètres dont 27 milliards actifs par token, avec un contexte pouvant atteindre un million de tokens.