Десятилетия мы ждали робота-дворецкого или «умный» дом, который знает, что нам нужно и когда, но до сих пор человечество ушло не слишком далеко от изобретения цифровых систем оповещения, напоминающих о предстоящем полете или о пришедшем e-mail. 

Однако исследователи из немецкого Боннского университета совершили прорыв и разработали самообучающуюся компьютерную программу, которая может предвидеть ваше следующее действие (по крайней мере, на кухне). 

Команда создала две разные нейронные сети, которые «наблюдали» за видеороликами, где люди занимались приготовлением салатов. Эти данные и послужили базой для тренировки нейросетей (они изучили около 20 действий, которые требуются для приготовления салата, и их длительность). 

«Затем мы протестировали, насколько успешно программа справляется с задачей. Для этого мы показали нейросети видео, с которыми она никогда не сталкивалась», – поясняет Юрген Галл, соавтор проекта.

Авторы проекта показали программе лишь 20-30% от нового видео – ее дальнейшая задача заключалась в предсказании последующих действий в ролике. В итоге алгоритм смог предсказать не только следующие действия, но и время на их реализацию с точностью 40%. Это оставляет некоторые нерешенные задачи, но, по сути, является хорошим результатом.

Прогностическая точность программы снижается, если длительность видео больше пары минут, но алгоритм все же способен предсказать действия с точностью до 15%. 

В дополнение следует отметить, что нейросеть справлялась с аналогичным успехом и с роликами, на которых люди занимаются приготовлением различных блюд на завтрак. 

Как только технология будет усовершенствована, взаимодействие людей и роботов выйдет на новый уровень. Автоматизированный ассистент будет знать, какую помощь и когда предложить. 

Исследователи подчеркивают, что их работа является принципиально новым направлением деятельности и будет представлена на Конференции по компьютерному зрению и распознаванию образов (CVPR), которая пройдет с 19 по 21 июня в Солт-Лейк-Сити.