# #google-cloud-platform #python-requests
Вопрос:
У меня есть веб-скребок, который удаляет почти все данные с веб-сайта. Несмотря на то, что я использую многопроцессорную обработку, все равно программа занимает огромное количество времени. Примерно 50 часов, чтобы очистить все данные. Проблема в том, что иногда возникает рекапча. Я предотвращаю эту проблему, используя прокси-сервер браузера tor, когда я запускаю его со своего локального компьютера. Как показано ниже:
import socks import socket socks.set_default_proxy(socks.SOCKS5, "localhost", 9050) socket.socket = socks.socksocket Но теперь я использую ту же программу в экземпляре виртуальной машины GCE, но я не могу понять, как я собираюсь с этим бороться.
Я знаю, что использование sleep() перед каждым запросом может предотвратить возникновение рекапчи, но это замедлит время выполнения моей программы. Есть ли какой-либо другой обходной путь для решения этой проблемы?