На большинстве сайтов стоит защита от парсинга, чтобы не перегружать сервер. При попытке спарсить программа не будет отображать информацию и наполнится ошибками по каждому урлу. Обход защиты для каждого сайта свой, но наиболее популярными способами являются:

1. Смена User-Agent

Начнем с базовой настройки, которую мы рекомендуем делать вначале любого парсинга - смену юзер агента. User-Agent - это строка, которую браузер, а в нашем случае парсер, отправляет на сервер при запросе веб-страниц. Она содержит информацию об операционной системе, браузере и другие данные, подробная информация о User-Agent в документации MDN.

Список User-Agent может отличаться в зависимости от парсера. Например, на момент написания данной статьи в Screaming Frog SEO Spider было доступно более 30 агентов, а в Site-Analyzer только 17.

Запустив программу наводим курсор на "Configuration" и в появившемся меню выбираем на “Crawl config”.

В открывшейся вкладке ищем пункт “User-Agent” и переходим на него. нас интересует выпадающий список Preset User Agents, раскрываем и выбираем DuckDuckBot. Нажимаем “ok”.

Для того, чтобы сменить User-Agent в SiteAnalyzer нужно: перейти в настройки и выбрать вкладку "User-Agent". В данном парсере мы обычно используем GoogleBot или YandexBot.

В свое время DuckDuckBot для нас стал "мастхэвом" для беспроблемного парсинга сайтов, избавив от большинства других манипуляций в настройках. Успешно парсит без каких-то помех все сайты, которые мы ему скармливали, но не доступен в Site-Analyzer.

В большинстве случаев, смена агента решает все проблемы, но если это не ваш случай, переходите к следующему этапу.

2. Настройка скорости парсинга

Скорость парсинга — это параметр, который определяет, с какой скоростью парсер обходит и загружает страницы сайта. В большинстве парсеры имеют следующие настройки:

• Max URL/s (максимум URL в секунду) — ограничивает, сколько URL можно запрашивать в секунду.
• Max Threads (максимум потоков) — определяет, сколько одновременно работает потоков. Говоря проще, сколько страниц парсится параллельно.

Чем выше эти значения — тем быстрее работает парсинг. Но слишком высокая скорость может перегрузить сервер сайта, что вызовет ошибки или даже временную блокировку.

Далее необходимо подобрать оптимальные параметры (чтобы понравиться серверу и не ждать окончание парсинга неделю).

В рассматриваемых нами парсерах интерфейс отличается, поэтому детально рассмотрим в каждом из них.

Наводим курсор на "Configuration" и в появившемся меню выбираем на "Speed”.

В открывшейся вкладке появится два ожидаемых поля: Max Threads и Max URL/s, по умолчанию второе поле неактивно, для активации нужно отметить чекбокс "Limit URL/s".

При наведении на поле Max Threads "лягушка" подсказывает, что значениями выступает диапазон чисел от 1 и до 200. По умолчанию, в поле стоит 5. Для начала можно снизить значение до 2, если не поможет, то опустить до 1.

Для поля Max URL/s также есть подсказка и числовой диапазон работы, значительно шире: от 0.1 до 10 000 000, по умолчанию установлено 2.0. Для проверки также можно опустить до 1.

Возвращаемся в настройки и на главной вкладке "Основные" увидим поля, в которых содержится:

• Количество потоков. Чем больше число, тем больше URL сможет обработать в единицу времени. При этом нужно учитывать, что большее число потоков ведет к большему числу используемых ресурсов ПК. Site-Analyzer рекомендует устанавливать число потоков в диапазоне 10-15.
• Время сканирования — ограничивает общее время работы сканера (в часах). Например: через 3 часа сканирование остановится, даже если не всё проверено.
• Максимальная глубина — насколько «глубоко» заходить по ссылкам:
  • Главная страница = 0,
  • Страницы с главной (site.ru/catalog) = 1,
  • Страницы внутри каталога (site.ru/catalog/item) = 2.
• Задержка между запросами — пауза (в секундах) между обращениями к сайту, чтобы не перегрузить слабый хостинг.
• Таймаут запроса — время (в секундах), которое сканер ждёт ответа от страницы. Если не успевает — переходит к следующей.
• Число сканируемых страниц — максимальное количество HTML-страниц для проверки (картинки, стили и скрипты не считаются).

В данном случае, мы не можем точно сказать какие из параметров сработают у вас. На нашей практике одни сайты хорошо парсились и при стандартных настройках, а для других требовалась тонкая настройка параметров.

3. Следовать или нет robots.txt

Файл robots.txt содержит инструкции для поисковых роботов, указывая, какие страницы сайта им разрешено или запрещено сканировать. С его помощью можно управлять доступом к отдельным разделам и уменьшать количество запросов, снижая нагрузку на сервер. Подробное пояснение о файле robots можно почитать в документации Google.

Открываем "Configuration" и в появившемся меню выбираем на "robots.txt”.

По умолчанию SEO Spider соблюдает протокол robots.txt и работает в режиме «Respect robots.txt» (Соблюдать robots.txt). Это означает, что SEO Spider не сможет сканировать сайт, если доступ к нему запрещён через robots.

В выпадающем списке у нас есть два параметра:

• Ignore robots.txt (Игнорировать robots.txt). Полностью игнорируем файл.
• Ignore robots.txt but report status (Игнорировать robots.txt, но отображать статус). Файл robots.txt будет загружен и отображаться в отчётах, но игнорируются содержащиеся в нем директивы. Можно спарсить сайт и увидеть какие страницы находятся в роботс.

В нашей практике не было необходимости в отображении списка из роботс, поэтому мы пользуемся первой настройкой.

Вновь возвращаемся в настройки на вкладку "Виртуальный Robots.txt". Отмечаем галочкой "Использовать виртуальный robots.txt".

О данной настройке Site-Analyzer пишет следующее: виртуальный robots.txt можно использовать вместо реального robots.txt, размещенного на сайте. Это бывает удобно при тестировании сайта, когда, например, нужно просканировать определенные разделы сайта, закрытые от индексации (либо наоборот – не учитывать их при сканировании), при этом не нужно физически вносить изменения в реальный robots.txt и тратить на это время разработчика. Виртуальный Robots.txt хранится в настройках программы и является общим для всех проектов. Примечание: при импорте списка URL учитываются директивы виртуального robots.txt (если эта опция активирована), иначе никакой robots.txt для списка URL не учитывается.

Если проще, то это ваши собственные правила для сканера, которые программа использует вместо реального файла на сайте. Если опция включена — сканер игнорирует настоящий robots.txt и слушает только ваш.

В материале мы показали несколько способов настройки Screaming Frog и Site-Analyzer, которые используем при парсинге сами. Если вы знаете другие способы - пишите в комментариях, будем рады протестировать и дополнить материал.