Создание интернета подразумевало открытую дорогу к свободе слова и мысли, однако очень скоро стало понятно, что он стал удобной площадкой для садистов, расистов, террористов, насильников и других преступников.

Возник вопрос: как уберечь людей от вредоносного контента (и стоит ли это делать)? В итоге появилась новая профессия – модератор. Армии таких модераторов по всему миру днями и ночами просматривают и просеивают содержимое интернета. По заявлению Facebook, миллион единиц контента отправляется на суд модераторов каждый день. С какими трудностями и этическими противоречиями приходится сталкиваться модераторам, а также о неоднозначной политике сайтов по отношению к контенту пишет в своем материале Verge. 

После запуска YouTube в 2005 году компания очень скоро – уже буквально в следующем году – обзавелась командой из десяти человек под названием SQUAD (Safety, Quality, and User Advocacy Department, или отдел безопасности, качества и защиты пользователей), которая отсматривала загруженные видео, помеченные пользователями как содержащие оскорбительное или вредоносное содержимое. YouTube быстро перерос из платформы, с помощью которой родственники делились между собой семейными видео, в ресурс, содержащий любительское и профессиональное порно, видео с жестоким обращением с детьми и издевательствами над животными. SQUAD начал вырабатывать правила отсеивания такого контента. Поначалу сотрудники отдела руководствовались простым вопросом: «Могу ли я показать это видео своим близким?» – но со временем пришло понимание необходимости более строгого и утвержденного официально регламента. В 2007 году YouTube выпустил первые правила пользования сайтом – согласно им запрещалось загружать порнографию, спам, видео преступлений, насилия, угроз и разжигания ненависти. Однако размытые определения в этом руководстве все равно оставляли простор для деятельности злоумышленников. 

С развитием интернет-платформ подобные отделы создавались и в других компаниях. Стали появляться отдельные фирмы (как, например, Modsquad), предоставляющие другим компаниям услуги по модерации контента. Люди посвящали этому свои научные работы в вузах, аспиранты стажировались в отделах типа SQUAD. Но, несмотря на бурное развитие профессии, модераторы по-прежнему остаются изолированными от других работников. Как правило, их часть офиса располагается вдали от других, затемнена, а экраны их компьютеров защищены от посторонних глаз. Они не имеют права показывать шок-контент другим коллегам (впрочем, это и не нужно – тем становится плохо даже просто от рассказов) и разглашать принципы модерации своей компании. 

Модераторы ежедневно испытывают огромный стресс, просматривая жестокие видео и изображения. Кто-то спивается, кто-то мучается бессонницей и проходит через нервные срывы. По рассказам бывшей сотрудницы SQUAD в YouTube Джулии Мора-Бланко, чтобы помочь своим сотрудникам, в какой-то момент компания стала предоставлять им сеансы с психотерапевтом. Сейчас такие компании, как Google, Microsoft, Yahoo, Facebook и Kik, отправляют сотрудников на тренинги по психологической устойчивости, организуют консультации с экспертами по теме суицида, жестокого обращения с детьми, насилия над женщинами, терроризма и др. Модераторам предоставляются подробные руководства к действию. Однако многими компаниями эта «каста» работников по-прежнему воспринимается как группа «уборщиков мусора» за человечеством. Американские фирмы часто нанимают в качестве модераторов жителей стран Третьего мира, которые отчаянно ищут хоть какую-то работу. 

Если задуматься, то эти «мусорщики» имеют огромное влияние на нашу жизнь. В том числе на мировую политику. Когда в 2009 году во время акции протеста в Тегеране после победы на президентских выборах Махмуда Ахмадинежада была застрелена Неда Ага-Солтан, видеоролики, запечатлевшие смерть девушки, мгновенно разлетелись по интернету. По рассказам Мора-Бланко, SQUAD в YouTube принял решение не блокировать эти записи, хотя они и показывали сцены насилия, что было запрещено правилами сайта. Программисты YouTube были вынуждены в срочном порядке изобрести для видео кнопку, предупреждающую о содержащем насилие контенте. Видео убийства Ага-Солтан стали знаковыми для иранской оппозиции. И в тот момент отказ SQUAD слепо следовать инструкции показал, насколько модераторы контента влиятельны. Они влияют на «свободу слова, политическую оппозицию, социальные нормы, безопасность пользователей и восприятие смысла жизни», пишет Verge. 

Модераторы постоянно сталкиваются с проявлениями разницы в культурах, и это часто ставит их в тупик. Как в случае, например, с видео, где подростки дерутся – по-хорошему, модератор YouTube должен его закрыть как содержащее изображение несовершеннолетних, вовлеченных в насилие ради развлечения, но, с другой стороны, в Индии мальчики этого возраста уже считаются вполне взрослыми людьми, поэтому там его не сочтут неприемлемым. Что решить модератору в такой ситуации? Еще пример: модератору запрещается одобрять видео с преступлениями наркокартелей в Мексике, но можно оставлять изображение насилия на политической почве в Сирии или в России. Первое считается жестоким контентом, а второе – политически значимым. Кому-то такое решение может показаться оскорбительным, ведь в Мексике проблема насилия со стороны наркокартелей – это тоже трагедия и проблема национального масштаба. 

В 2014 году Дейв Уилнер (бывший руководитель контентной политики Facebook) и Дэн Кельменсон (инженер-программист из Facebook) запатентовали технологию, способную выявлять потенциальную вредоносную деятельность в интернете. Ее модель предполагает три стадии: определение группы злоумышленников, идентификация связанных с ними пользователей и поиск и анализ других групп, взаимодействующих с ними. Среди автоматизированных систем модерации есть и PhotoDNA (от Microsoft), которая автоматически определяет, удаляет и докладывает о наличии изображений эксплуатации детей на фотографиях. Через нее проходят все изображения, загружаемые, например, на такие сайты, как Facebook, Twitter и Tumblr. По этому же принципу сейчас разрабатывается программа, распознающая экстремистские изображения. 

Процесс модерации кажется нам таинственным, потому что интернет-компании намеренно его скрывают. Соцсети никогда не публикуют руководства по внутренней модерации своего контента, а действующие и бывшие сотрудники связаны соглашениями о неразглашении. На данный момент лидером в вопросе прозрачности процесса модерации контента является Pinterest. На его сайте представлены подробные правила политики допустимого использования, дополненные визуальными примерами контента, которые позволяют его пользователям понять принципы работы модераторов и отношение к контенту в Pinterest. 

Пользователи слишком привыкли осознавать себя «клиентами интернета», а ведь именно они генерируют контент и принимают активное участие в его модерации. Они отмечают тот или иной контент как неприемлемый. Кто-то, например, участвует в кампании counter speech в Facebook и помогает сайту выявлять тех, кто пропагандирует экстремизм (правда, некоторые выступают против такой практики, потому что она может подвергнуть самого «доносчика» опасности). Некоторые платформы (как 4chan или в прошлом Reddit) вообще снимают с себя ответственность за отсеивание контента и оставляют это на совести пользователей. Впрочем, ни к чему хорошему это не приводит – на таких сайтах полно отвратительного контента, замечает Verge. 

Источник: https://slon.ru/posts/66760