Блог

Я пытаюсь динамически передать значение моему spider для очистки страницы. Когда я выполняю, он показывает ошибку и не продолжается. Дайте мне знать, в чем проблема с моим кодом.

 class MyItem(Item):
url=Field()
title=Field()

class someSpider(CrawlSpider):
   name = 'crawlim'
   sitename=''
   items=[]

   def __init__(self, *args, **kwargs):
      urls = kwargs.pop('urls', []) 
      domains=kwargs.pop('domains',[])
      if domains:
        self.allowed_domains=domains.split(',')
      if urls:
        self.start_urls = urls.split(',')
      self.logger.info(self.start_urls)
      someSpider.rules=(Rule(LxmlLinkExtractor(allow=(),unique=True), callback='parse_obj', follow=True),)
      super(someSpider, self).__init__(*args, **kwargs)
   
  

Сообщение об ошибке:

 INFO:scrapy.core.engine:Spider opened
2019-03-07 16:59:14 [scrapy.core.engine] INFO: Spider opened
INFO:scrapy.extensions.logstats:Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2019-03-07 16:59:14 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
INFO:crawlim:Spider opened: crawlim
2019-03-07 16:59:14 [crawlim] INFO: Spider opened: crawlim    
DEBUG:scrapy.extensions.telnet:Telnet console listening on 127.0.0.1:6063
2019-03-07 16:59:14 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6063
error