Студент 3-го курса Института интеллектуальной робототехники НГУ создал программу RSL Interpreter, которая позволяет переводить жесты в текст. Приложение основано на технологиях искусственного интеллекта, работает на ПК в режиме реального времени и на мобильных устройствах. На текущий момент поддерживает только дактиль, в дальнейшем студент планирует доработать модель, сделав ее более устойчивой, добавить больше жестов для перевода и обратный перевод, сообщает пресс-служба вуза.

Студенты Института интеллектуальной робототехники НГУ уже с третьего курса начинают работать над реальными проектами, которые направлены на решение задач индустриальных партнеров и разных социально-значимых задач. В программу обучения включен специальный предмет «Управление производственным процессом и разработка программного обеспечения». Идея создать переводчик русского жестового языка пришла Ярославу именно в ходе обучения по данному курсу, студенту хотелось разработать что-то новое, при этом связанное с искусственным интеллектом.

— Для создания приложения, над которым я работал самостоятельно, мне пришлось изучить русский жестовый язык. Очень трудоемкой была задача собирать огромный датасет (массив данных для обучения модели) и сделать тестовое решение на нем. Однако оно оказалось удачным. Я собрал приложение в исполняемый файл. Оно читает изображение с видеокамеры до момента, пока не будет закончен перевод, который в дальнейшем выводится на экран, — рассказывает о работе над проектом Ярослав Чеканов.

На рынке есть подобное решение, которое предлагает СБЕР, однако отличие разработки Ярослава в том, что использована другая архитектура, а само приложение работает быстрее и результат перевода более точный.