icon Посты по тегу curl

curl-парсинг через tor proxy

Когда речь идёт о парсинге, то рано или поздно мы можем столкнуться с баном ip со стороны сервера. Поэтому в идеале нужно:

  • использовать большое количество ip-адресов
  • ставить все заголовки, которые ставит браузер (User-Аgent и др.)

Бесплатные списки proxy могут помочь при парсинге, но они очень часто не работают, или работают очень медленно или криво.

Разберём, как можно использовать tor вместо proxy. Или, скажем, так: curl tor proxy.

НОВЫЕ ПОЛЬЗОВАТЕЛИ