Python — я попытался очистить элементы с помощью scrapy, однако ссылки на изображения не очищаются

#python #web-scraping #scrapy

#python #веб-очистка #scrapy

Вопрос:

Я новичок в python и веб-очистке, и я попытался очистить содержимое с этого сайта, но я не могу получить изображения при запуске сканера.

Вот spider.py:

 class TestSpiderSpider(scrapy.Spider):
name = 'testscraper'
page_number = 2
start_urls = ['https://jamaicaclassifiedonline.com/auto/cars/']

def parse(self, response):
    items = scrapeItem()

    product_title = response.css('.jco-card-title::text').extract()
    product_imagelink = response.css('.b-loaded::attr(src)').getall()

    items['product_title'] = product_title
    items['product_imagelink'] = product_imagelink

    yield items
  

Он — код для items.py:

 class scrapeItem(scrapy.Item):
product_title = scrapy.Field()
product_imagelink = scrapy.Field()

pass
  

Комментарии:

1. Он выдает заголовок, но не ссылку на изображение

Ответ №1:

 response.css('.card-image img::attr(src)').getall() # images.
response.css('.card-image img::attr(data-src)').getall() # lazy-loaded images.