Блог

Я новичок в Python и очень впечатлен количеством библиотек в моем распоряжении. У меня уже есть функция, которая использует Beautiful Soup для извлечения URL-адресов с сайта, но не все из них актуальны. Мне нужны только веб-страницы (без носителей) на том же веб-сайте (домен или поддомен, но никаких других доменов). Я пытаюсь вручную программировать примеры, с которыми сталкиваюсь, но чувствую, что изобретаю велосипед заново — конечно, это распространенная проблема в интернет-приложениях.

Вот примерный список URL-адресов, которые я мог бы получить с веб-сайта, скажем http://example.com , с пометками о том, нужны они мне или нет и почему. Надеюсь, это иллюстрирует проблему.

Хорошо:

• example.com/page — он ссылается на другую страницу в том же домене
• example.com/page.html — имеет окончание типа файла, но это HTML-страница
• subdomain.example.com/page.html — он находится на том же сайте, хотя и на поддомене
• /about/us — это относительная ссылка, поэтому у нее нет домена, но это подразумевается

Плохо:

• otherexample.com/page — плохо, домен не соответствует
• example.com/image.jpg — плохо, не изображение, а не страница
• / — плохо — иногда в теге «a» есть только косая черта, но это ссылка на страницу, на которой я уже нахожусь
• #anchor — это тоже относительная ссылка, но она находится на той же странице, поэтому в ней нет необходимости

Я писал случаи в if заявлениях для каждого из них … но должен быть лучший способ!

Редактировать: вот мой текущий код, который ничего не возвращает:

 ignore_values = {"", "/"}
def desired_links(href):
     # ignore if href is not set
     if not href:
         return False

     # ignore if it is just a link to the same page
     if href.startswith("#"):
         return False

     # skip ignored values
     if href in ignore_values:
         return False


 def explorePage(pageURL):
 #Get web page
     opener = urllib2.build_opener()
     opener.addheaders = [('User-Agent', 'Mozilla/5.0')]
     response = opener.open(pageURL)
     html = response.read()

     #Parse web page for links
     soup = BeautifulSoup(html, 'html.parser')
     links = [a["href"] for a in soup.find_all("a", href=desired_links)]
     for link in links:
         print(link)

     return



 def main():
     explorePage("http://xkcd.com")
  

BeautifulSoup довольно гибко помогает вам создавать и применять правила к значениям атрибутов. Вы можете создать функцию фильтрации и использовать ее в качестве значения для href аргумента to find_all() .

Например, что-то для вас, с чего можно начать:

 ignore_values = {"", "/"}
def desired_links(href):
    # ignore if href is not set
    if not href:
        return False

    # ignore if it is just a link to the same page
    if href.startswith("#"):
        return False

    # skip ignored values
    if href in ignore_values:
        return False

    # TODO: more rules
    # you would probably need "urlparse" package for a proper url analysis

    return True
  

Использование:

 links = [a["href"] for a in soup.find_all("a", href=desired_links)]
  

Вам следует взглянуть на Scrapy и его Экстракторы ссылок.