Очистка веб-страниц — обработка неустранимых ошибок

#python #exception #web-scraping #beautifulsoup

#python #исключение #очистка веб-страниц #beautifulsoup

Вопрос:

Используя веб-скребки (bs4, selenium) и задаваясь вопросом, есть ли лучший способ обрабатывать исключения, которые не являются фатальными (т. Е. Продолжать выполнение после исключения).

В моем коде есть много исключений try для каждого свойства, и я хотел бы централизовать эту логику.

Примечание ProductDetails — это экземпляр ProductDetails, который имеет свойства setter и getter python. Я думал о том, чтобы поместить логику except в установщик, но к тому времени уже слишком поздно, потому что запрос должен сначала получить значение.

 try:
    productDetails.image = soup.find("meta", property="og:image")[
except:
    productDetails.url_valid = False
    continue
  

Ответ №1:

Ошибки никогда не должны передаваться молча. Я предлагаю вам обрабатывать все исключения явно. Наконец, избегайте помещения логики except в методы setter или getter.