L'Observateur de la Superintelligence
The New Stack

« Décharger les grands LLM » : le modèle de décision de Subquadratic revendique une fenêtre de contexte 12 fois plus grande que Jev

Subquadratic présente un modèle de décision dont la fenêtre de contexte serait douze fois plus grande que celle de Jev. Ce modèle dévoilé mi-septembre par TypeSafe a suscité une vague de concurrents qui entendent soulager les grands modèles de langage d'une partie de leur travail.

À lire aussi

The Decoder

OpenAI sortirait au moins un modèle cette année, mais son modèle phare a encore besoin de travail d'alignement

OpenAI s'active pour finaliser son prochain modèle phare, qui reprend la technique du transformeur en boucle d'Astra pour progresser en maths et en code, au prix d'une surveillance de sécurité plus difficile. Selon des employés, un ou deux nouveaux modèles devraient sortir d'ici la fin de l'année, que le modèle phare soit prêt ou non ; Microsoft a par ailleurs dévoilé par erreur des détails de la technique sur une page publique.

Apple Machine Learning

L'espace de conception des modèles de diffusion masqués tri-modaux

Des chercheurs d'Apple présentent ce qu'ils décrivent comme les premiers modèles de diffusion masqués entraînés de zéro sur du texte, des paires image-texte et audio-texte. L'article étudie les lois d'échelle multimodales, les proportions de chaque modalité, les calendriers de bruit et la taille des lots, et propose des réglages par défaut pour l'inférence.