Поисковые системы являются кладизем ценной информации, которую хакеры могут использовать для своих кибератак. Хорошая новость заключается в том, что пентестеры используют такие же подходы.

С точки зрения пентестера, поисковые системы могут быть разделены на два типа: для общего пользования и для пентестеров. Статья будет посвящена трем поисковым системам, которые мои коллеги и я широко используем в качестве инструментов тестирования на проникновение. Это Google (все знают, умеют и используют), а так же: Shodan и Censys как более узкоспециализированные.

Google

Пентестеры используют расширенные возможности гугла (операторы) для выполнения более определенного поиска по весьма специфичным параметрам, такой метод еще называют "Google dorks". Использование дорков позволяет нам фильтровать информацию к примеру по типу уязвимости, по типу CMS, ошибкам и некоторым другим мелочам, на которые не все обращают внимание ( т.к. по сути интересны они только пентестерам :) ).

Чуть ниже приведу в качестве примера некоторые операторы доступные для поиска в Google:

• cache: оператор cache: для кражи учетных данных пользователя с помощью веб-прокси, попытаться найти какие специально скрытые ошибки/уязвимости (к примеру если на сервере ранее присутствовал режим 'debug', а поже его отключили, страница могла попасть в кеш).
• filetype: ограничивает результат поиска определенными типами файлов.
• allintitle: и intitle: оба имеют дело с заголовками HTML-страниц. allintitle: находит страницы, на которых есть все условия поиска в заголовке страницы. intitle: ограничивает результаты теми, которые содержат хотя бы некоторые поисковые термины в заголовке страницы. Остальные термины должны появиться где-то в теле страницы.
• allinurl: и inurl: применяют один и тот же принцип к URL страницы.
• site: возвращает результаты с сайта, расположенного на указанном домене (позволяет фильтровать результаты к примеру по конкретному сайту, доменной зоне, либо исключить конкретный сайт из выдачи).
• related: позволяет найти другие страницы, похожие по шаблонам ссылок на данный URL.

Что можно найти с помощью операторов расширенного поиска Google?

Операторы расширенного поиска Google используются вместе с другими инструментами тестирования на проникновение для сбора анонимной информации (относится к пассивной разведке), сопоставления сетей, а также сканирования и перечисления портов. Google dorks может предоставить тестировщику широкий спектр конфиденциальной информации, такой как страницы входа администратора, имена пользователей и пароли, конфиденциальные документы, военные или правительственные данные, корпоративные списки рассылки, данные банковских счетов и т. д.

Shodan

Shodan - это поисковая система, ориентированная на специлаистов из разряда исследователей, ИБ, пентестеров, админов. Данный поисковик помогает пентестеру находить определенные узлы (маршрутизаторы, коммутаторы, настольные компьютеры, серверы и т. д.).

Поисковая система опрашивает порты, захватывает полученные баннеры и индексирует их, чтобы найти необходимую информацию. Ценность Shodan как инструмента тестирования на проникновение заключается в том, что он предоставляет ряд удобных фильтров:

• страна: поиск по двухбуквенному коду страны. Например, запрос apache country: NO покажет вам серверы apache в Норвегии.
• имя хоста: фильтрует результаты по любой части имени хоста или имени домена. Например, apache hostname: .org находит серверы apache в домене .org.
• net: фильтрует результаты по определенному диапазону IP или подсети.
• os: находит указанные операционные системы.
• Порт: поиск конкретных услуг. Shodan имеет ограниченную коллекцию портов: 21 (FTP), 22 (SSH), 23 (Telnet) и 80 (HTTP). Однако вы можете отправить запрос разработчику поисковой системы Джону Мазерли через Twitter для получения дополнительных портов и услуг.

Shodan - это коммерческий проект, и, хотя авторизация не требуется, зарегистрированные пользователи имеют больше возможностей для поиска и сбора данных (через то же API).

За ежемесячную плату вы получите расширенное количество кредитов запросов, возможность использовать такие фильтрмы как country: и net: , сохранять и делиться поиском, а также экспортировать результаты в формате XML.

Censys

Еще одним полезным инструментом для тестирования на проникновение является Censys - поисковая система с открытым исходным кодом для поиска и выявления открытых и/или уязвимых систем (так же пассивная разведка).

Его создатели утверждают, что Censys собирает «полную базу данных всего, что смотрит в Интернет». Censys сканирует Интернет и предоставляет тестировщику пера три набора данных о хостах в общедоступном адресном пространстве IPv4, веб-сайты в топ-миллионе доменов Alexa и X.509 криптографических сертификатов.

Censys поддерживает полнотекстовый поиск (например, запрос сертификата с истекшим сроком действия предоставит пентестеру список всех остальных устройств с сертификатами с истекшим сроком действия) и регулярные выражения (например, для поиска по метаданным. Производитель: запрос «Cisco» показывает все активные устройства Cisco). У многих из них наверняка будут обнаружены маршрутизаторы с известными уязвимостями, которые еще не успели исправить.). 

Шодан против Censys

В качестве инструментов тестирования на проникновение обе поисковые системы используются для сканирования Интернета на наличие уязвимых систем. Тем не менее, я вижу разницу между ними в политике использования и представления результатов поиска.

 
Shodan не требует каких-либо гарантий или доказательств от пользователя пользователя, что система будет использована исключительно во благо, но за это нужно платить. В то же время Censys дает возможность полноценно использавать систему на бесплатной основе , но для этого требуется сертификат CEH и какой либо другой документ, подтверждающий благие намерения пользователя (этичный хакинг, все дела), а так же его данные. 

Shodan и Censys представляют результаты поиска по-разному. Shodan делает это в более удобной для пользователей форме (напоминает Google SERP), Censys - в виде необработанных данных или в формате JSON. Последний больше подходит для синтаксических анализаторов, которые затем представляют информацию в более читаемой форме.

Если проанализировать фидбеки ресерчеров, которые плотно работают с данными поисковиками, то можно заметить один интересный факт - (прямо точно на 200% не известно, но все же), что Censys вроде как имеет более толстую базу отсканированных IPv4 хостов. В плане ЗА про Shodan можно сказать лишь о более широких возможностях в плане детектирования уязвимостей и более глубокий анализ актуальных сервисов смотящих в интернеты.

В любом случае, советую присмотреться ко всем выше перечисленными инструментам, если не работали с ними ранее, изучить их и добавить в ваш арсенал пентестера.