ЯБот - детектор поисковых ботов

Виджет (модуль) для InstantCMS 2.x

  • Рейтинг: 5.0
  • Просмотры: 32822
  • Загрузки: 1755
  • Подписчики: 9
  • Добавлен: 16.08.2015

Смысл столь простого дополнения, довольно прост: сообщать и фиксировать появление на сайте поисковых ботов. Так можно отслеживать какой поисковый бот и когда в последний раз посещал ваш сайт.

И так, в качестве поисковых ботов у нас выступят вымышленные, зарегистрированные пользователи. Далее по порядку в процессе установки:

  1. Скачать архив с модулем и установить как обычно через установщик
  2. Вывести модуль «YABOT» в любую позицию (он не отображается и никакой код не выводит)
  3. Далее Вам нужно будет через админку нужно создать пользователей «Ботов». Для каждого поискового бота — по пользователю. (Я например так и назвал Яндекс, Google и т.д.). Я например создал для этих ботов группу «Боты» и поместил их туда, чтоб мне проще было потом их вместе смотреть. Ну и чтоб эти мнимые пользователи не привлекали внимания обычных пользователей — профили заблокируем, отключим все возможные публикации на странице, личные сообщения, рассылки и т.д. по вашему вкусу и желанию раскрасьте их страницы. Как раз id этих пользователей нам далее и пригодятся.

Как это работает?

Поисковый робот посещая ваш сайт определяется скриптом, и выводит нужного созданного пользователя в состояние «он-лайн»

На демо сайте установлен этот виджет. Для проверки можете перейти на страницу addurl-лки яндекса или гугла, ввести любую страницу демо-сайта и увидите как бот-пользователь тут же появится на сайте в виджете он-лайн пользователей. Ну или потом можно зайти на страницы ботов и посмотреть когда вас боты посещали и посещают ли вообще.

Настройки виджета:

Необходимо добавить id пользователей и соответствующих им userr-agent через зяпятую по форме:

id пользователя пробел user-agent запятая… и т.д.

1 Yandex, 2 Googlebot, 3 Mail.Ru… и т.д.

Для наглядности ниже содержание настройки моих собранных user-agent

8 Yandex, 7 Googlebot, 9 Mail.Ru, 10 StackRambler, 11 Slurp, 12 ia_archiver, 13 msnbot, 14 Teoma, 15 MJ12bot, 16 Mediapartners-Google, 17 Twitterbot, 18 bingbot


Демо
Скачать
Версия: 1.4 — 16.08.2015
Загружено 1755 раз, из них последней версии — 845 раз