Блог

Я работал над приложением, связанным с вводом-выводом, в котором я буду запускать несколько сценариев одновременно, в зависимости от того, какие аргументы я буду вызывать для сценария и т. Д.: monitor.py —s=»сидсвенскан», monitor.py -ss=»Би-би-си» и т. Д. и т. Д.

 from __future__ import annotations

from abc import abstractmethod
from typing import ClassVar, Dict
from typing import Optional

import attr
import requests
from selectolax.parser import HTMLParser


@attr.dataclass
class Info:
    """Scraped info about news"""
    all_articles: set = attr.ib(factory=set)
    store: str = attr.ib(factory=str)
    name: Optional[str] = attr.ib(factory=str)
    image: Optional[str] = attr.ib(factory=str)


class Scraper:
    scrapers: ClassVar[Dict[str, Scraper]] = {}
    domain: ClassVar[str]

    def __init_subclass__(cls) -> None:
        Scraper.scrapers[cls.domain] = cls

    @classmethod
    def for_url(cls, domain, url) -> Scraper:
        return cls.scrapers[domain](url)

    @abstractmethod
    def scrape_feed(self):
        pass

    @abstractmethod
    def scrape_product(self):
        pass


class BBCScraper(Scraper):
    domain = 'BBC'

    def __init__(self, url):
        self.url = url

    def scrape_feed(self):
        with requests.get(self.url) as rep:
            # FIXME Better way than this atleast :P
            if rep:
                doc = HTMLParser(rep.text)

                all_articles = {
                    f"https://www.BBC.se{product_link.attrs['href']}" for product_link in
                    doc.css('td.search-productnamne > a, div.product-image > a')
                }

                return Info(
                    store="BBC",
                    all_articles=all_articles
                )

    def scrape_product(self):
        with requests.get(self.url) as rep:
            # FIXME Better way than this atleast :P
            if rep:
                doc = HTMLParser(rep.text)

                # FIXME Scrape valid webelements
                name = "Test"
                image = "Test"

                return Info(
                    store="BBC",
                    name=name,
                    image=image,
                )


class SydsvenskanScraper(Scraper):
    domain = 'Sydsvenskan'

    def __init__(self, url):
        self.url = url

    def scrape_feed(self):
        with requests.get(self.url) as rep:
            # FIXME Better way than this atleast :P
            if rep:
                doc = HTMLParser(rep.text)

                all_articles = {
                    f"https://Sydsvenskan.se/{product_link.attrs['href']}" for product_link in
                    doc.css('div.product-image > a, td.search-productnamne > a')
                }

                return Info(
                    store="Sydsvenskan",
                    all_articles=all_articles
                )

    def scrape_product(self):
        with requests.get(self.url) as rep:
            # FIXME Better way than this atleast :P
            if rep:
                doc = HTMLParser(rep.text)

                # FIXME Scrape valid webelements
                name = "Test"
                image = "Test"

                return Info(
                    store="Sydsvenskan",
                    name=name,
                    image=image,
                )


if __name__ == "__main__":
    #FIXME Use arguments instead
    domain = 'BBC'
    url = 'https://www.bbc.co.uk/'
    scraper = Scraper.for_url(domain, url)
    r = scraper.scrape_feed()
    print(r)
 

Как вы можете видеть в настоящее время, я «жестко закодирован»:

 domain = 'BBC'
url = 'https://www.bbc.co.uk/'
 

который в настоящее время будет передаваться вместо аргументов.

Однако, как мы видим, если я начну добавлять больше «магазинов/новостных сайтов», class Scraper например, на 40 разных сайтах, будет довольно сложно перейти к правильному коду, если вы хотите сохранить или внести какие-либо изменения.

Интересно, как я могу в таком случае разделить код на разные файлы, где etc Sydsvenska будет для себя, а BBC будет сама по себе. Тогда мне будет легче поддерживать код в будущем, если будут какие-либо изменения.

Хорошо, я понимаю, что вы ищете. И, к сожалению, должен сказать, что вам не повезло. По крайней мере, насколько я знаю python. Вы можете сделать это двумя способами.

1. Используйте importlib для поиска в папке/пакете, содержащем эти файлы, и импорта их в список или в список, который необходимо извлечь. Однако вы сказали, что хотите избежать этого, но в любом случае вам придется использовать importlib. И № 2-это причина, по которой.
2. Используйте базовый класс, который при наследовании __init__ своего вызова добавляет производный класс в список или объект, в котором он хранится, и вы можете получить его с помощью объекта класса. Однако проблема здесь в том, что если вы переместите свой производный класс в новый файл, этот код не будет выполняться до тех пор, пока вы его не импортируете. Таким образом, вам все равно потребуется явно импортировать файл или неявно импортировать его через importlib (динамический импорт).

Таким образом, вам придется использовать importlib (динамический импорт) в любом случае.