Annoter la qualité des traductions automatiques avec des LLM : humains et modèles sont tous deux en difficulté
Des chercheurs d'Apple ont mesuré l'accord entre des grands modèles de langage et des annotateurs humains pour évaluer la qualité de traductions automatiques, selon deux méthodes, MQM et ESA. L'enjeu : les LLM sont vus comme une alternative moins coûteuse à l'évaluation humaine, mais leur fiabilité doit d'abord être vérifiée sur de nombreuses langues et domaines.