Прокси для парсинга: как собирать данные и не словить бан

Типы прокси для сбора данных, ротация без палевного паттерна, лимиты запросов и порядок действий при блоке — практический цикл, который живёт долго.

Парсинг упирается не в скорость скрипта, а в то, как быстро целевой сайт вас заметит. Один IP, тысяча запросов в минуту — и вы в блоке. Разберём, как строить сбор данных через прокси, чтобы он жил долго: типы адресов, ротация, лимиты и ошибки, которые все делают в начале.

Тип прокси для парсинга

IPv6 — для масштаба. Минимальная цена за адрес и большие пулы: когда нужны тысячи запросов к публичным страницам. Условие — целевой сайт должен поддерживать IPv6.

Shared IPv4 — когда нужен IPv4 при ограниченном бюджете. Настоящий IPv4 (адрес делят до трёх клиентов) — для площадок, которые не работают с IPv6, но не требуют чистой истории.

Индивидуальный IPv4 — для разделов после авторизации. Личный кабинет, корзина, цены для залогиненных — там, где сессия должна жить долго.

Не угадывайте: проверьте целевой сайт на один адрес за три дня, потом масштабируйте. Дешевле, чем заменить партию.

Ротация: как часто менять адрес

Частая ошибка — ротировать на каждый запрос. Сайт видит не «много пользователей», а «бот с мерцающим IP»: паттерн вычисляется мгновенно.

Рабочая схема:

  • Закрепите адрес за сессией. Куки и токены живут с адресом; смена IP посреди сессии = новый вход = подозрение.
  • Меняйте по порогу, а не по таймеру. Например: N запросов или M минут на адрес, дальше — следующий.
  • Держите паузы. Пять запросов в секунду с одного IP выглядят хуже, чем пятьдесят в секунду, размазанные по пятидесяти адресам.

Лимиты: сколько запросов на адрес

Универсальной цифры нет — она зависит от площадки. Порядок калибровки:

  1. Начните с консервативного: 1 запрос в 2–5 секунд на адрес.
  2. Следите за ответами: 403, 429 и капчи — сигнал притормозить.
  3. Поднимайте темп постепенно, пока ошибки не начнут расти — и отступите назад.

Ответ 429 («too many requests») — это не блок навсегда, а предупреждение. Остановитесь на этом адресе на минуты, а не на миллисекунды: повторный шквал добивает адрес окончательно.

Минимальный рабочий цикл

На примере curl через наш прокси:

curl -x http://ЛОГИН:ПАРОЛЬ@IP:PORT https://example.com/page

В коде то же самое через переменную прокси; примеры для Python и Node — в нашей инструкции «Как подключить прокси». Проверить, что трафик идёт через прокси, просто: запросите https://api.ipify.org — должен вернуться IP прокси, а не ваш.

Что делать при блоке

Адрес заблокирован — не значит, партия сгорела:

  1. Уберите адрес из пула на время.
  2. Проверьте его позже: многие блокировки временные.
  3. Если адрес не оживает — в кабинете его можно заменить.

Чек-лист перед запуском

  • Тип выбран под задачу (IPv6 / Shared / индивидуальный IPv4).
  • Поддержка IPv6 у целевого сайта проверена, если берёте IPv6.
  • Ротация — по порогу, сессии закреплены за адресами.
  • Паузы и лимиты откалиброваны на малой партии.

Материалы: практика клиентов ProxySell по сбору данных, документация по типам прокси в нашем каталоге.