На четырнадцатом ежегодном Faculty Summit, который прошел в Редмонде при участии 400 исследователей из 29 стран мира, была представлена новая система, способная распознавать язык жестов и переводить его. Предполагается, что новинка будет встроена в Xbox One наряду с поддержкой голосовых команд.

Система разработана в рамках исследований возможностей применения сенсорных технологий в процессе распознавания жестовых языков. В разработке приняли участие пекинская команда Microsoft и Китайская Академия Наук (CAS). Новинка призвана облегчить жизнь людей с ограниченными возможностями, которые не могут использовать традиционное голосовое оборудование для взаимодействия с компьютером.

Kinect – простое решение сложного вопроса

Для создания нового проекта были применены 2 главные составляющие:

1) сенсор движений Kinect, который распознает визуальную информацию, поданную человеком;

2) специальное программное обеспечение, которое воспринимает и анализирует информацию, а затем преобразует ее в понятный для всех язык.

В системе продумано несколько режимов:

I - восприятие визуальной информации с последующим переводом ее в текстовую форму на китайском либо английском языке;

II – осуществление обратного преобразования из текста в жесты (с помощью трехмерного аватара).

Многосторонний подход в работе проекта способствует более быстрому, а главное точному отслеживанию движений. То есть, система с легкостью может одновременно распознавать различные виды данных, включая глубину и цвет изображения.

На сегодняшний день новейшая разработка Microsoft поддерживает лишь американский язык жестов. Однако в дальнейшем планируется расширить список языков.

Главное преимущество данного проекта заключается в том, что, используя простые и доступные 2D и 3D-сенсоры, получилось создать социально важную систему, решающую проблему распознавания и перевода языка жестов. Это дает надежду на то, что в скором времени люди с ограниченными способностями смогут на равных с остальными взаимодействовать с компьютером.

Видеопрезентация проекта: http://www.youtube.com/watch?v=pFUClV1FNYo

Вероника Юренкова