Блог

Я хочу иметь один скрап-проект, содержащий двух пауков. Я хочу, чтобы у каждого из них был свой конвейер элементов, настроенный по-разному.

Любая помощь будет признательна, я попытался найти решение в Google или любой обходной путь. Я не нашел ничего, что имело бы смысл.

Вы можете реализовать это с помощью пользовательских настроек spider:

 import scrapy
from project.pipelines import Pipeline1, Pipeline2

class Spider1(scrapy.Spider):
    name = 'spider1'
    custom_settings = {
        'ITEM_PIPELINES':{
            Pipeline1: 100
        }
    ...

class Spider2(scrapy.Spider):
    name = 'spider2'
    custom_settings = {
        'ITEM_PIPELINES':{
            Pipeline2: 100
        }
    ...