L'espace de conception des modèles de diffusion masqués tri-modaux
Des chercheurs d'Apple présentent ce qu'ils décrivent comme les premiers modèles de diffusion masqués entraînés de zéro sur du texte, des paires image-texte et audio-texte. L'article étudie les lois d'échelle multimodales, les proportions de chaque modalité, les calendriers de bruit et la taille des lots, et propose des réglages par défaut pour l'inférence.