ShtabBot — наш краулер

Мы снимаем страницы, чтобы сравнивать структуру и текст сайтов в выдаче. Ниже — как нас узнать и как закрыть, если вы этого не хотите.

User-Agent: Mozilla/5.0 (compatible; ShtabBot/1.0; +https://rangmera.site/bot)

Мы не рендерим JavaScript, не решаем капчи и не используем резидентные прокси. Только GET, только text/html, тело не более 5 МБ.

не чаще одного запроса в 2 секунды на домен;
не более 30 запросов в час на чужой домен;
соблюдаем robots.txt — правила для нашего User-Agent и для *, включая Crawl-delay;
страница, недоступная дважды подряд, исключается и повторяется не раньше чем через 7 дней.

Добавьте в robots.txt:

User-agent: ShtabBot
Disallow: /

Мы выполним это правило в течение суток. Если нужно исключение только для части сайта — укажите конкретные пути.

Вопросы по краулеру и запросы на исключение: noreply@rangmera.site.