curl-парсинг через tor proxy
Когда речь идёт о парсинге, то рано или поздно мы можем столкнуться с баном ip со стороны сервера. Поэтому в идеале нужно:
- использовать большое количество ip-адресов
- ставить все заголовки, которые ставит браузер (User-Аgent и др.)
Бесплатные списки proxy могут помочь при парсинге, но они очень часто не работают, или работают очень медленно или криво.
Разберём, как можно использовать tor вместо proxy. Или, скажем, так: curl tor proxy.
9 лет назад
0 комментариев