Парсинг robots.txt файлов на php

robots.txt — файл с инструкциями для поисковых машин. Обычно в нём указывают список url, которые нужно запретить к индексации (директива Disallow). Но, это далеко не все возможности robots.txt. В robots.txt можно:

1. задать главное зеркало сайта с помощью директивы Host
2. указать ссылки на файлы sitemap с помощью директивы Sitemap
3. указать минимальный интервал в секундах с помощью директивы Crawl-delay, не ранее чем через который робот сделает запрос к следующей странице сайта. Обычно используют, если сайт не справляется с нагрузкой
4. указать get-параметры, которые не стоит учитывать при индексации страниц с помощью директивы Clean-param
5. задать urls, которые разрешены к индексации с помощью директивы Allow (протиповоложенность директиве Disallow)