Блог

Я запускаю Python.org 64-разрядная версия 2.7 в 64-разрядной версии Windows Vista для использования Scrapy. У меня есть некоторый код, который работает, когда я запускаю его через командную оболочку (за исключением некоторых проблем с командной оболочкой, не распознающей символы, отличные от Юникода), однако, когда я пытаюсь запустить скрипт через Python IDLE, я получаю следующее сообщение об ошибке:

 Warning (from warnings module):
  File "C:Python27mrscrapmrscrapspiderstest.py", line 24
    class MySpider(BaseSpider):
ScrapyDeprecationWarning: __main__.MySpider inherits from deprecated class scrapy.spider.BaseSpider, please inherit from scrapy.spider.Spider. (warning only on first subclass, there may be others)
  

Код, используемый для генерации этой ошибки, является:

 from scrapy.spider import BaseSpider
from scrapy.selector import Selector
from scrapy.utils.markup import remove_tags
import re

class MySpider(BaseSpider):
    name = "wiki"
    allowed_domains = ["wikipedia.org"]
    start_urls = ["http://en.wikipedia.org/wiki/Asia"]

    def parse(self, response):
        titles = response.selector.xpath("normalize-space(//title)")
        for titles in titles:

            body = response.xpath("//p").extract()
            body2 = "".join(body)
            print remove_tags(body2)
  

Во-первых, в чем причина этой ошибки, когда она нормально работает в командной оболочке? Во-вторых, когда я следую инструкциям в ошибке и заменяю оба экземпляра BaseSpider в коде просто на ‘Spider’, код выполняется в оболочке Python, но ничего не делает. Нет ошибки, ничего не напечатано в журнале, никаких ошибок или предупреждений, ничего.

Кто-нибудь может сказать мне, почему эта исправленная версия кода не выводит свои выходные данные в Python IDLE?

Спасибо

Добавьте from scrapy.cmdline import execute в свой импорт

Затем поместите execute(['scrapy','crawl','wiki']) и запустите свой скрипт.

 from scrapy.spider import Spider
from scrapy.selector import Selector
from scrapy.utils.markup import remove_tags
import re
from scrapy.cmdline import execute
class MySpider(Spider):
    name = "wiki"
    allowed_domains = ["wikipedia.org"]
    start_urls = ["http://en.wikipedia.org/wiki/Asia"]

    def parse(self, response):
        titles = response.selector.xpath("normalize-space(//title)")
        for title in titles:

            body = response.xpath("//p").extract()
            body2 = "".join(body)
            print remove_tags(body2)

execute(['scrapy','crawl','wiki'])