#web-scraping #scrapy #crawlera
#очистка веб-страниц #scrapy #crawlera
Вопрос:
Я собираю цены с Amazon, все работает нормально, за исключением того, что я столкнулся с проблемой местоположения, по-видимому, некоторые продукты недоступны за пределами США, поэтому, когда моя программа запускается, она не может получить цены, я использую Crawlera для американского IP-прокси, но он по-прежнему не работает для нескольких запросов.
Могу ли я каким-либо образом заблокировать ее, используя отправку файлов cookie или что-то в этом роде.Любая помощь или ссылка были бы действительно полезны. Заранее спасибо.
Ответ №1:
При использовании Crawlera вы можете создать новую учетную запись через веб-интерфейс и указать регион для США. Затем замените свой ключ API ключом для вашей недавно созданной учетной записи.
См. Это руководство для справки.