Многие веб-мастера в access-логах своих проектов встретили следующий User-Agent:

Mozilla/5.0 (compatible; SurdotlyBot/1.0; +http://sur.ly/bot.html)

Часть вывода access.log:

74.117.181.201 - - [29/Jun/2015:14:37:35 +0300] "GET / HTTP/1.0" 200 36727 "-" "Mozilla/5.0 (compatible; SurdotlyBot/1.0; +http://sur.ly/bot.html)"
74.117.181.201 - - [29/Jun/2015:14:37:55 +0300] "GET / HTTP/1.0" 200 36727 "-" "Mozilla/5.0 (compatible; SurdotlyBot/1.0; +http://sur.ly/bot.html)"
74.117.181.201 - - [29/Jun/2015:14:38:43 +0300] "GET / HTTP/1.0" 200 36727 "-" "Mozilla/5.0 (compatible; SurdotlyBot/1.0; +http://sur.ly/bot.html)"
74.117.181.201 - - [29/Jun/2015:14:38:43 +0300] "GET /assets/images/favicon.ico HTTP/1.0" 200 4286 "-" "Mozilla/5.0 (X11; U; Linux x86_64; en-US) AppleWebKit/532.9 (KHTML, like Gecko) Chrome/5.0.307.7 Safari/532.9"

Хмм, что означает этот юзерагент? Кто такой SurdotlyBot?

Чтобы понять что это значит, достаточно перейти по ссылке https://sur.ly/bot.html, которая указана в самом юзерагенте. 

Мы попадаем на веб-страницу, где разработчики объясняют, что бот — это компьютерная программа, которая в автоматическом режиме "парсит" сайты. Объясняется, для чего бот делает запросы к сайтам.

SurdotlyBot (кравлер, спайдер) коллекционирует информацию о веб-сайтах, которая затем используется для нужд проекта sur.ly. А именно, проект на своих страницах показывает краткую информацию о каждом из доменов. Какую же информацию собирает бот? Как минимум, это:

1. Мета-теги (title, keywords, description) с главной страницы сайта
2. Фавиконка (favicon.ico) 
3. Скриншот главной страницы
4. Определение доступности сайта по ответу главной страницы
5. Определение софта, используемого на сайте

Т.о. образом SurdotlyBot — это бот наподобие mail.ru, yandex или google-бота, только намного менее известный. 

Мне точно известно, что SurdotlyBot бот больше не придёт, если запретить в robots.txt боту парсить ваш сайт. Например, так:

User-agent: SurdotlyBot
Disallow: /

Пример страницы домена: https://sur.ly/o/jeka.by/.

Стоит ли разрешать этому боту парсить ваш сайт? Решать только вам. Я ничего критичного в этом не вижу.

А что же за проект такой sur.ly?

Проект предоставляет js-библиотеку и готовые плагины под все известные CMS. Веб-мастера могут устанавливать плагины на свой сайт. Плагины осуществляют замену внешних ссылок на аналогичные ссылки, но ведующие на sur.ly. Ссылки ведут на страницу с панелью, где в iframe будет показан сайт, а сверху будет панель с меню, которое можно настроить по своему усмотрению. На панели отображается краткая информацию о домене.

Основной плюс сервиса для веб-мастеров заключается в том, что посетители, которые уходят с вашего сайта по вшеней ссылке, всё ещё могут вернуться к вам на сайт с помощью меню. Также предоставляется аналитика, по которой можно посмотреть по каким ссылкам и в какой время от вас уходят посетители. Основной плюс для sur.ly - видимо, это наращивание количества внешних ссылок на себя и как итог повышение популярности.