Блог

Главная - Вопросы по программированию - Как очистить страницу с бесконечной прокруткой, которая не использует AJAX с помощью Scrapy?

Как очистить страницу с бесконечной прокруткой, которая не использует AJAX с помощью Scrapy?

#scroll #infinite

Вопрос:

Я пытаюсь удалить все результаты на этой странице с бесконечной прокруткой :

https://opensea.io/collection/sad-frogs-district?search[priceFilter][symbol]=ETHamp;search[priceFilter][min]=0amp;search[priceFilter][max]=1amp;search[toggles][0]=BUY_NOW

Я хочу получить все номера перечисленных элементов, но пока я получил только 32, потому что сначала страница загружает только 32 результата. Эта страница не использует AJAX/JSON, поэтому я не могу легко получить все страницы

Вот мой код, который хорошо работает для первых 32 результатов ^^ :

 import scrapy


class QuotesSpider(scrapy.Spider):
    name = "sadfrogs"

    def start_requests(self):
        urls = [
            'https://opensea.io/collection/sad-frogs-district?search[priceFilter][symbol]=ETHamp;search[priceFilter][min]=0amp;search[priceFilter][max]=1amp;search[toggles][0]=BUY_NOW',
        ]
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        numero = response.xpath("//div[@class='AssetCardFooter--name']/text()").extract()
        print (numero)
        print (len(numero))
Метки: ,