"Яндекс Переводчик" с YandexGPT стал мировым лидером по качеству перевода с английского на русский по итогам международного независимого бенчмарка DiBiMT. Внедрение в сервис большой языковой модели позволило за год повысить точность перевода в два раза, сделать его более естественным, лучше передавать стилистические особенности, смысл устойчивых выражений и обогнать таких лидеров, как Google Translate, ChatGPT и DeepL. Рейтинг опубликовали ведущие мировые центры изучения языка в машинном обучении — итальянские институты Sapienza и SSML Carlo Bo. 

Ранее в "Переводчике" применялась технология нейросетевого машинного перевода. Нейросеть анализировала массивы текстов, запоминала закономерности и на их основе переводила текст. У такого подхода было ограничение: сервис учитывал контекст в отдельных предложениях, но не в тексте целиком. Именно внедрение модели семейства YandexGPT, специально обученной под задачи перевода, позволило преодолеть это ограничение. Так как большая языковая модель работает со всем текстом сразу, перевод слов, которые имеют несколько значений, получается более точным, а предложения — лучше согласованы между собой. Кроме того, YandexGPT понимает стиль, в котором написан текст, поэтому может передать в переводе особенности как, например, художественного, так и технического языка. 

Бенчмарк DiBiMT — это тест для измерения процента ошибок (то есть неверного определения смысла или значения слова в контексте) в переводе. В тестировании, помимо "Яндекс Переводчика" с YandexGPT, приняли участие 22 системы перевода. Так, большая языковая модель "Яндекса" обошла, например, GPT-4, Gemma 2 9b, Llama-3 8b и другие нейросети.

Исследователи собрали базу данных из нескольких тысяч предложений на английском языке с омонимами — одинаковыми по написанию словами, имеющими разное значение. Модели и сервисы перевели эти предложения, а алгоритмы бенчмарка определили процент корректно переведённых слов. Кроме того, правильные варианты выборочно проверяли профессиональные переводчики, что обеспечило высокое качество замеров. На основе этих показателей и был сформирован публичный рейтинг.