AmazingBot — обходчик Amazing.ge

AmazingBot — веб-обходчик Amazing.ge, онлайн-маркетплейса в Грузии. Если вы видите в журналах сервера «AmazingBot/1.0 (+https://amazing.ge/bot)», на этой странице объяснено, что он делает и как его остановить.

Зачем он заходит на ваш сайт

Наша команда использует AmazingBot, чтобы посмотреть публичные страницы магазина — товары, цены, категории и открыто указанные деловые контакты, — когда решает, пригласить ли магазин или его продавцов торговать на Amazing.ge. Каждый заход запускает сотрудник нашей команды для одного конкретного сайта; сам по себе обходчик по интернету не ходит.

Как он себя ведёт

  • Сначала читает robots.txt и никогда не открывает страницы, которые robots.txt закрывает для него или для всех обходчиков.
  • Соблюдает Crawl-delay и в любом случае отправляет сайту не больше одного запроса в 2 секунды.
  • За один заход открывает не больше 40 страниц и останавливается через 10 минут.
  • Не входит в учётные записи, не заполняет формы, не оформляет заказы и не пытается обойти капчу или другие проверки. Если сайт показывает такую проверку, обходчик уходит.
  • Собирает только публичную информацию о магазине: название, товары (названия, цены, фото), категории и открыто указанные деловые контакты. Для приглашения мы можем подготовить закрытый черновик витрины из ваших публичных товаров — его видит только сам продавец по личной ссылке; если приглашение не принято, черновик и собранные данные удаляются в течение 30 дней. Страницы сайта целиком мы не копируем и не храним.

Как его закрыть

Добавьте эти строки в файл robots.txt в корне сайта:

User-agent: AmazingBot
Disallow: /

Обходчик читает robots.txt в начале каждого захода, поэтому изменение действует со следующего захода.

Вопросы

Напишите нам — например, если вы не хотите, чтобы мы связывались с вашим бизнесом, или хотите удалить собранную информацию: [email protected]