На YaC 2024 Яндекс впервые показал смарт-функции — технологию, которая меняет опыт взаимодействия пользователей с умным телевизором. Теперь Алиса в ТВ Станциях выполняет команды, которым её не обучали заранее, обрабатывает многосоставные запросы для управления устройством и контентом на нём и лучше понимает контекст экрана.

В основе работы смарт-функций лежит языковая модель YandexGPT 4 с технологией вызова функций: это значит, что Алиса использует генеративную нейросеть не только для развёрнутых ответов в диалоге, но и для выполнения пользовательских команд. YandexGPT позволяет ей понимать, из чего состоит запрос, и самостоятельно решать, как его исполнить. Иными словами — позволяет «думать».

В ТВ Станциях новая технология призвана улучшить опыт пользователей. ТВ — традиционно непростая категория для управления голосом за счёт наличия экрана, собственного интерфейса и разнопланового контента. Это создаёт для виртуального ассистента сложный контекст, который нужно учитывать. Смарт-функции позволяют Алисе работать с этим контекстом эффективнее, а ТВ Станциям — стать AI TV с интуитивным голосовым управлением.

Ранее Алиса могла обработать и выполнить те команды, которым её заранее обучили. Теперь можно не «подгонять» формулировки под известные ей сценарии: Алиса больше не ограничена уже заложенными командами. Ассистент поймёт запрос пользователя в различных формах и проанализирует, что сейчас на экране. Если Алиса не знает, как осуществить запрос целиком, она разделит его на составные части и выполнит пошагово.

Смарт-функции позволяют ассистенту понять, к каким известным сценариям обратиться, чтобы выполнить неизвестную команду. Например, пользователь может сказать: «Алиса, выключи телевизор, когда закончится этот матч». До появления смарт-функций Алиса ответила бы, что «этого пока не умеет», так как подобной задаче её не обучали. Теперь нейросеть сама разложит запрос на два действия — посмотрит, сколько осталось до конца, и поставит таймер выключения на это время. По отдельности эти команды Алисе известны, поэтому она справится с запросом.