L'Observateur de la Superintelligence
Apple Machine Learning

Annoter la qualité des traductions automatiques avec des LLM : humains et modèles sont tous deux en difficulté

Des chercheurs d'Apple ont mesuré l'accord entre des grands modèles de langage et des annotateurs humains pour évaluer la qualité de traductions automatiques, selon deux méthodes, MQM et ESA. L'enjeu : les LLM sont vus comme une alternative moins coûteuse à l'évaluation humaine, mais leur fiabilité doit d'abord être vérifiée sur de nombreuses langues et domaines.

À lire aussi

The Decoder

AlphaProof Nexus de Google DeepMind résout des dizaines de problèmes ouverts en maths, avec relecture par les pairs

Selon une étude parue dans Science, AlphaProof Nexus de DeepMind a résolu des dizaines de problèmes ouverts, dont neuf problèmes d’Erdős, deux d’entre eux en suspens depuis 56 ans. DeepMind a fait relire ses résultats avant publication, alors qu’OpenAI est boycotté pour avoir déposé sur GitHub des preuves non relues.