Нейронные сети

После того, как я проходил нейронные сети в ВУЗе, утекло достаточно много воды. Дошли наконец руки посмотреть старую и давно отложенную лекцию малого ШАД.

Из интересного:

В 2015 году прошёл момент, когда компьютер начал определять изображение лучше, чем человек (человеку достаточно трудно отличить обычную Хаски от сибирской Хаски).

Классические нейронные сети — это когда каждый нейрон связан со всеми нейронами предыдущего слоя, и там всё относительно просто (мы на лабах обучали распознаванию пиксельных символов). Но, если использовать их для обработки изображений, никаких ресурсов не хватит, поэтому используют Свёрточные Нейронные Сети. Это такой тип нейронных сетей, который использует лишь ограниченные матрицы весов (небольшого размера), которую «двигают» по всему обрабатываемому слою.

Например, можно обучить нейронную сеть на определение глаз на фотографии и потом быстро определять их на фотографии (второй слайд с описанием научной работы Gatys L.A. о стилизации изображений мне показался достаточно забавным. Лекция 2015 года, напомню).

Для решения задач, связанных с текстом (переводы, генерация текстов) используют Рекуррентные Нейронные Сети — это такие сети, в которых имеется обратная связь. Когда имеет значение последовательность. Тут уже можно писать ботов для, например, технической поддержки. Или моя давняя идея фикс — это перевести любые тексты в стилистику Достоевского. Когда компьютеры начнут писать программы сами для себя — это тоже рекуррентные нейронные сети.

Но магия начинается, когда мы начинаем совмещать этих два вида вместе. Сверточные + рекурентные сети дают нам, например, возможность перевести видео в текст (мне всегда было интересно, как это сделано). Там есть, известное видео, где один разработчик ходит по Амстердаму, и ему описывается всё увиденное. [забавно, что это видео было сделано с постобработкой, то бишь не в режиме реального времени. Так как iPhone 7 Plus уже вроде как мощнее моего эйира, то можно уже предположить, что скоро появятся приложения для людей с ограниченными возможностями по зрению. Навёл телефон, и тебе в режиме реального времени рассказали, что происходит на улице].

Сначала рекурентная, а потом сверточная. И можно делать генерацию изображений по тексту (например, помочь билд-редактору подобрать картинки к тексту).

Используя свёрточные сети + обучение с подкреплением, мы можем обучать сеть решать любые игры (например, одну и туже обучающую механику можно использовать для практически всех игр Atari). [note: шашки, например, решили почти брутфорсом — компьютер может свести любую партию в ничью, в шахматы уже немного сложнее).

P.S. На WWDC 2016 Apple презентовал две штуки: Basic Neural Network Subroutines (BNNS) и Convolutional Neural Networks (CNN). 

Тут более-менее человеческим языком описано. Другими словами, можно быть уже совсем тупым, просто берёшь и пользуешься. Например, чтобы задетектить лицо на фотографии, можно воспользоваться специально выделенной для этого штукой.

Версия для печатиВерсия для печати
  • 1
  • 2
  • 3
  • 4
  • 5
Всего голосов: 4
Заметили ошибку? Выделите ее мышкой и нажмите Ctrl+Enter!

Комментарии

Страницы

Аватар пользователя Dmitry

трудно отличить обычную Хаски от сибирской Хаски

и как отличить собаку породы "сибирский хаски" от хаски из Сибири? на выставках (соревнованиях), где внешние составляющие породы стандартизированы, оценивается только одна порода "сибирский хаски".

решать любые игры

шашки, например, решили

в шахматы уже немного сложнее

в шахматах при правильной игре белые обычно выигрывают + шахматы не "немного сложнее", а намного сложнее, чем шашки (8х8).

з.ы. "начал определЯть изображение".

Аватар пользователя mike

Имхо для непосвящённого гуманитария довольно сбивчивый блог -- не объясняются понятия "свёртка", "рекуррентность" (это, кстати, не традиционная "обратная связь"), но инфа всё же есть.

Оценил на "тройку с плюсом". Ну или "четвёрку с минусом". Вообще-то десятибалльная оценка лучше пятибальной: "шестёрка".

Аватар пользователя Dmitry

Это заметки для себя, "непосвященный гуманитарий" просто уйдет гуглить новые термины и не вернется. Или перейдет к следующему блогу, с более вразумительными объяснениями и стилистикой (сибирский хаски и хаски из Сибири, "решать" игры, "несложные" шахматы и пр.).

Аватар пользователя Petro46

Интересный блог у Антона. Мне понравилось. И ничего тут непонятного нет. Кому непонятно, что такое матрица весов, на ИТ-ресурсах делать нечего, в общем-то. Надо, как Дима заметил, идти "гуглить" новые термины. Хотя и гуманитарий, думаю, поймет о чем здесь речь, если, конечно, он совсем не тупой. 

Аватар пользователя Piton

Dmitry пишет:

в шахматах при правильной игре белые выигрывают

Можете предоставить пруф этого утверждения?

Аватар пользователя mike

Питон, гугли "игры с седловой точкой". Шахматы -- как раз такая игра. Математически доказано, что в таких играх при правильной игре начинающий не проигрывает. Фишка в том, что ВСЕ седловые точки для шахмат пока не найдены. Но тем не менее, брутфорсно комп уделывает чела.

Петро, напиши про седловые точки в играх, в экономике и т.д. Гуманитариям и не только им д.б. интересно.

Аватар пользователя Piton

mike пишет:

Математически доказано, что в таких играх при правильной игре начинающий не проигрывает.

Согласись, "белые выигрывают" и "белые не проигрывают" - это несколько разные вещи.

Аватар пользователя Petro46

mike пишет:

Петро, напиши про седловые точки в играх, в экономике и т.д. Гуманитариям и не только им д.б. интересно.

Не буду, тут есть молодые специалисты, выпускники профильных вузов, "Академий Управления", они все знают лучше, вот пусть они и работают. 

 

Аватар пользователя mike

Согласись, "белые выигрывают" и "белые не проигрывают" - это несколько разные вещи.

Конечно.

Не буду, тут есть молодые специалисты, выпускники профильных вузов, "Академий Управления", они все знают лучше, вот пусть они и работают.

Не думаю, что в "Академии Управления" это изучают.

Аватар пользователя Dmitry

компьютер может свести любую партию в ничью, в шахматы уже немного сложнее

ВСЕ седловые точки для шахмат пока не найдены

Ссылка, видимо, у автора, т.к. шашки (шахматы) "решены").

Если серьезно, то шахматные программы основываются на библиотеках начал (дебют) и окончаний (эндшпиль), играя прежде всего в миттельшпиле методом перебора вариантов (брутфорсно), см. об этом в "Игры и стратегии с точки зрения математики" А.Шень. Поскольку белые после дебюта выходят с некоторым позиционным преимуществом (см. курс шахматных дебютов), то при правильной стратегии в середине игры переход к эндшпилю означает выигрыш белых (начинающих игру), см. статистику игр. Поэтому авторское "решать игры" (?!) и  "компьютер может свести любую партию в ничью" - ложь и контрреволюция, т.к. на сегодняшний день (подчеркнул) компьютер белыми стабильно выигрывает, а если играет против человека, то стабильно выигрывает и черными фигурами.

з.ы. Так понимаю, ни автор, ни Piton квалифицированно в шахматы не играли.

к слову, в школе, когда занимался шахматами, с хорошим счетом играл в шашки с шашистами (знал только правила игры), из-за обычно более быстрой техники оценки и расчета вариантов.       

Страницы