Это вполне нормально и справедливо, когда веб-мастер желает, чтобы его сайт посещали как можно больше людей. При этом достоверно известно, что очень часто львиную долю всех переходов на среднестатистический сайт дают именно поисковики. Но для этого у вашего сайта должна случиться любовь с поисковыми ботами, периодически его страницы бороздящими, и, что весьма немаловажно, она должна быть взаимной.

В прошлой статье (см. "КВ" №13) мы подробно писали о свирепствующем ныне в Рунете фильтре АГС-17, который делает многие сайты невидимыми и безликими для поисковой выдачи "Яндекс" (после наложения самых различных санкций на сайт или его перманентного бана), либо наоборот, в случае симпатии к сайту - сайт взлетает к вершинам поиска. После нашего рассмотрения истории происхождения и назначения этого карающего меча "Яндекса" у многих веб-мастеров возник вполне законный вопрос: как защитить свой сайт от его нападения или даже, перейдя в контратаку, завоевать его благосклонность и попытаться улучшить ранжирование, получив тем самым ещё больше переходов-посещений, которых, как известно, никогда не бывает много. Итак, цель этой статьи - в меру моих сил раскрыть основные закономерности формирования порой иррациональной любви (и даже ненависти) ботов к сайтам и их содержимому.

Слишком часто уже всеми писалось, но так и не стало банальностью, что король Интернета - это контент, т.е. текстовое наполнение вашего сайта. Нужно очень четко понимать, что попасть в топ выдачи поисковых машин ("серп") невозможно без высококачественного контента. И именно фильтр АГС, который модерирует сайты перед их попаданием в серп "Яндекса", решает судьбу сайта, и именно сейчас, как никогда за всю историю Рунета, он стал чрезвычайно чувствителен к качеству контента сайта.

Давайте остановимся на этом важнейшем критерии подробнее: что делает контент сайта "высококачественным" в глазах поисковика? Фактор номер один здесь - это его уникальность. Любое копирование к себе чужих статей с посторонних сайтов, их излишнее цитирование - всё это понижает рейтинг вашего сайта. Причем под уникальностью я здесь имею в виду также и уникальность текста в пределах вашего же сайта: обычным явлением стало генерирование некоторыми сайтовыми движками различных версий одной и той же странички, например, обычной и для печати, либо попадание одной статьи в разные (как правило, родственные) категории сайта, когда их содержание идентично, а URL страницы при этом будет разным - в зависимости от категории, в которой просматривается эта статья, и т.п. случаи. Учтите, все подобные случаи дублирования сразу привлекают к себе пристальное внимание АГС.

По понятным причинам крайне не рекомендуется использование синомизаторов и прочих хитрых программных приспособлений типа "бредогенератор", для автоматической генерации псевдоуникального бессмысленного текстового наполнения, как правило, насыщенного ключевыми словами, - все подобные "дорвейные трюки" очень жестко караются баном со стороны поисковой машины. А в нынешней своей инкарнации АГС чрезвычайно преуспел в автоматической детекции бессмысленного текста, даже если он и построен с помощью грамматически верных конструкций. Также рекомендуется свести ре-райтинг чужих материалов (особенно поверхностный) к минимуму, т.к. уникальность выходного материала не всегда будет признана поисковой машиной.

Очень желательно, хотя и не всегда возможно, следить за тем, чтобы ваши статьи не "тырили" другие сайты, т.к. если это сделано достаточно оперативно, до того, как поисковый бот успел сделать свой проход по вашему сайту с новой статьей, может так получиться (и таких случаев тьма), что поисковик попадёт на сайт-плагиатор с копией вашей новой статьи быстрее, чем на ваш сайт-оригинал, а тут, как и в жизни, частенько в силе "закон первой ночи": где материал был встречен ботом первый раз, тот источник и считается уникальным и авторским, а все остальные отныне будут только копиями. Теперь в случае поиска по сути вашей статьи ваш сайт будет незаслуженно пессимизироваться в поисковой выдаче, а сайт псевдо-оригинал - выталкиваться в топ серпа. В связи с этим рекомендуется делать все значимые новые посты сначала в хидден-режиме, т.е. когда после публикации на них нет явной заметной ссылки на вашем сайте, чтобы любой человек мог обнаружить её, а делается скрытая "техническая ссылка", чтобы о существовании страницы узнал поисковый бот и проиндексировал её прежде, чем она станет публично видимой. После прохода бота такая статья сразу "всплывает в паблик" и получает своё заслуженное место на вашем сайте. Эту и подобные стратегии автоматически реализуют многие CMS, а также специализированные плагины к популярным блогам.

Немаловажно регулярное пополнение сайта - это непременное условие для его успеха в глазах поисковиков, - сайт должен жить, шевелиться, помаленьку разрастаясь, чтобы поисковики чувствовали и знали, что за этим сайтом стоит кто-то явно живой, волевой и устремлённый вперед. Если вы зальете даже великолепный по содержанию сайт и законсервируете его на веки вечные со словами "аминь", вам не избежать пессимизации. Если бот поисковика увидит в результате своих скрупулезных ежедневных вылазок на ваш сайт, что ваше творение безразлично вам самим и проект закрыт - он сделает свои выводы, и, поверьте, аналогичные вашим. Поэтому, если вы ведете, например, блог, и вам проблематично систематически делать новые посты в него или регулярно уезжаете в командировки, воспользуйтесь функционалом его движка (или плагинами), ответственным за автоматическую и постепенную публикацию статей по расписанию, предварительно скормив ему десяток-другой своих статей, заблаговременно вами написанных и загруженных в его механическое чрево.

Таким образом, суммируя: идеально, когда постинг на сайте работает подобно конвейеру-инкубатору, когда новые статьи сначала публикуются в хидден, затем постепенно там уникализируются и так же постепенно и регулярно, умным программным механизмом вашего движка, по расписанию выставляются в паблик, радуя ваших читателей, а также привлекая внимание "свежатинкой" рой ботов, всегда крутящихся за видимым фасадом вашего сайта.

Нужно понимать, что одна из основных задач фильтра АГС - выявление вторичного или дублирующего контента, стремление выделить в Сети первичные источники оригинальной информации, отделив от остальной многочисленной массы паразитирующей на них братии, с пессимизацией по итогам этого процесса сайтов последних. И, нужно признать, что за этот трудоемкий и тернистый процесс отделения "мух от котлет" "Яндекс" взялся ныне весьма серьёзно и, отчасти, успешно, причем, что признают все, в "Яндексе" действуют с нарушителями чистоты поиска достаточно жестко - запросто выкидывая целые сайты из индекса, в этом полностью следуя политике партии "мочить всех даже в сортире".

Давайте приведем хорошо известные примеры из жизни Рунета, иллюстрирующие все эти поисковые разборки на практике - новостной агрегатор news2.ru (и многие ему подобные), который вылетел из индекса "Яндекса" прошлой осенью на два месяца, его посещаемость при этом резко упала. Понятно, что news2.ru весь состоит из фрагментов текстов, цитируемых с других сайтов, что и привело его к бану со стороны поиска "Яндекс". Другой колоритный пример - сайт Министерства транспортных коммуникаций РФ, на котором поисковый бот нашёл очень много аккуратно разложенных официальных нормативных документов, уникальность которых, по понятным причинам, никакая. По этим причинам пострадали в той или иной степени и другие государственные сайты, правда, только Минтранс получил полный бан, т.к. ещё и старательно генерировал кучу различных форматов представлений одних и тех же документов, порождая жуткую избыточность, с точки зрения "Яндекса" (как видим, такую трогательную заботу московских чиновников об удобстве простого человека из глубинки, зашедшего на государственный сайт, поисковые боты явно не оценили, что лишний раз доказывает киберпанковскую установку о чуждости бездушным роботам всего человеческого).

В этих конкретных случаях только вмешательство администраторов известных и уважаемых сайтов в происходящее позволило вручную вернуть их в индекс, но исходя из своего опыта хочу сразу предупредить остальных, что веб-мастера менее именитых и раскрученных сайтов, подпавшие под карательные действия фильтров АГС-17, вряд ли найдут столь быстрое понимание в службе поддержки "Яндекс". Скорее всего, это приведет вас к одинокой и затяжной борьбе с осаждающими сайт полчищами поисковых ботов за своё "право быть найденным" в поисковой строке ведущей российской поисковой машины.

Но об этой неравной борьбе подробно поговорим уже в следующий раз в рамках этого цикла статей, когда речь пойдёт о мерах, которые нужно предпринять, если вы уже сделали что-то страшное и ваш сайт был за это забанен на уровне поисковой машины.

(Окончание следует)

Игорь САВЧУК