Блог

Я новичок в скрэпи

На первом этапе программа подключается к базе данных и возвращает параметр имени программы, даты и ссылки внутри фрейма данных Pandas (фрейм данных содержит более 300 строк и 3 столбца) .

Используя строку f, ссылка создается, и загрузчик начинает загрузку этих ссылок

Я хочу, чтобы столбец имени файла считывался в той же таблице внутри цикла при чтении ссылки, а файлы сохранялись с нужным именем и датой

например : Данные = фрейм данных панд включает :

Url-адреса: www.xyz.com, Имена: abc, Даты: 2020/01/01

Я хочу знать, как я могу сохранить файл как abc.2020/01/01

Код паука :

 import scrapy


from Data import connector_15


from ..items import CoscrapyItem


class FirstSpider(scrapy.Spider):
    


name = 'first'
    

start_urls = []

    def parse(self, response):
        links = []
        names = []
        item = CoscrapyItem()
        Data = connector_15()

        for i in Data["PdfUrl"]:
            links.append(f"""https://www.aaa.ir/{i}""")
        

        file_urls = links

        item['file_urls'] = file_urls

        yield item
 

Код товара :

 import scrapy


class CodalscrapyItem(scrapy.Item):


    file_urls = scrapy.Field()


    files = scrapy.Field()