Я перебираю URL-адреса через scrapy.requests, но когда я разбиваю их на страницы, он выбирает случайные URL-адреса и разбивает на страницы, пожалуйста, дайте мне знать, если есть какие-либо решения
#python #scrapy #web-crawler Вопрос: def start_requests(self): df = pd.read_csv(r'C:UsersBBNprojectsremax_calinks1.csv') url_list = df['url'].to_list()#reading url from dataset # yield scrapy.Request(url =url_list[1], callback=self.parse,meta={'dont_merge_cookies': True}) for i in url_list: yield scrapy.Request(url =i, callback=self.parse) def…