"Яндекс" выложил в открытый доступ крупнейшую нейросеть YaLM 100B, позволяющую генерировать и обрабатывать тексты на русском и английском языках.

Отмечается, что нейросеть содержит 100 млрд параметров и является самой большой из существующих моделей для русского языка. "Это позволяет использовать ее для решения большого круга задач, связанных с обработкой естественного языка. Языковые модели из семейства YaLM определяют принцип построения текста и генерируют новые, опираясь на законы лингвистики и свои знания о мире", – говорится в сообщении компании.

Так, например, языковые модели способны придумывать идеи для рекламных кампаний, создавать описания товаров и видео. С их помощью можно генерировать любые тексты, а также классифицировать их по стилю речи. Представляемую модель специалисты "Яндекса" обучали на суперкомпьютерах компании. В процессе обучения YaLM 100B обработала около 2 Тб текстов из открытых датасетов и интернета на английском и русском языках.

По словам генерального директора "Яндекс. Технологий" Петра Попова, для обучения настолько большой языковой модели требуются огромные ресурсы, опытные специалисты и годы работы. "А нам важно, чтобы доступ к современным технологиям был не только у крупнейших IT-компаний, а у всего сообщества исследователей и разработчиков. Выкладывая YaLM 100B в открытый доступ, мы рассчитываем, что это даст толчок развитию генеративных нейросетей", – отметил он.