
Многие веб-мастера в access-логах своих проектов встретили следующий User-Agent:
Mozilla/5.0 (compatible; SurdotlyBot/1.0; +http://sur.ly/bot.html)
Хмм, что означает этот юзерагент? Кто такой SurdotlyBot?
Чтобы понять что это значит, достаточно перейти по ссылке http://sur.ly/bot.html, которая указана в самом юзерагенте.
Мы попадаем на веб-страницу, где разработчики объясняют, что бот — это компьютерная программа, которая в автоматическом режиме "парсит" сайты. Объясняется, для чего бот делает запросы к сайтам.
SurdotlyBot (кравлер, спайдер) коллекционирует информацию о веб-сайтах, которая затем используется для нужд проекта sur.ly. А именно, проект на своих страницах показывает краткую информацию о каждом из доменов. Какую же информацию собирает бот?