Yandex B2B Tech запустила сервис для создания помощников на базе искусственного интеллекта AI Assistant API. Компании смогут разрабатывать собственных AI-ассистентов под бизнес-сценарии без настройки инфраструктуры и написания большого объема кода. Таких помощников обычно используют для автоматизации технической поддержки, умного корпоративного поиска, создания рекомендаций на маркетплейсах и не только. AI Assistant API позволит ускорить внедрение языковых моделей в бизнес-процессы более чем на 30%. Воспользоваться сервисом можно уже сейчас на публичной облачной платформе Yandex Cloud. В ближайшее время он станет доступен и для использования на собственной инфраструктуре компаний.

В AI Assistant API уже реализована функциональность ответа LLM на основе данных компании. Это могут быть, например, документы организации или статьи. Можно подгрузить файлы в формате PDF, DOC, TEXT или XLS в модель, и она будет отвечать на вопросы пользователей с опорой на них. В будущем в сервисе будет реализована поддержка обращения к внешним базам знаний. Сервис работает таким образом за счет метода RAG (Retrieval Augmented Generation) — задается контекст в виде фрагментов текста, на базе которых LLM должна скомпоновать ответ.

Сервис работает с новым поколением языковых моделей YandexGPT 4. Новая линейка включает мощную языковую модель Pro и облегчённую версию Lite. Они превосходят по качеству ответов предыдущие версии, способны рассуждать и обрабатывать в четыре раза более длинные запросы — порядка 60 страниц текста. Кроме этого, с помощью моделей последнего поколения скорость генерации ответов увеличилась в 2 раза.