Блог

Недавно мне порекомендовали Beautiful Soup для проекта на python. Я читал документы на странице beautiful soup, но я не могу понять, что это за то, что я хочу сделать. У меня есть страница, на которой есть целая куча ссылок. Это каталог со ссылками, размером файла и т.д. Допустим, это выглядит так:

 
Parent Directory/       -   Directory
game1.tar.gz    2010-May-24 06:51:39    8.2K    application/octet-stream
game2.tar.gz    2010-Jun-19 09:09:34    542.4K  application/octet-stream
game3.tar.gz    2011-Nov-13 11:53:01    5.5M    application/octet-stream
  

Итак, что я хочу сделать, это указать строку поиска, допустим game2 , и я хочу, чтобы она загружалась game2.tar.gz . У меня была идея использовать RE, но я слышал, что Beautiful Soup намного лучше. Кто-нибудь может показать и объяснить, как я бы это сделал?

 from BeautifulSoup import BeautifulSoup  
import urllib2

def searchLinks(url, query_string):
    f = urllib2.urlopen(url)
    soup = BeautifulSoup(f, convertEntities='html')
    for a in soup.findAll('a'):
        if a.has_key('href'):
            idx = a.contents[0].find(query_string)
            if idx is not None and idx > -1:
                yield a['href'] 

res = list(searchLinks('http://example.com', 'game2'))
print res
  

Ваш вопрос не очень ясен.

На основе представленных вами данных я бы подумал, что вам нужно только сделать :

 content = '''Parent Directory/       -   Directory
game1.tar.gz    2010-May-24 06:51:39    8.2K    application/octet-stream
game2.tar.gz    2010-Jun-19 09:09:34    542.4K  application/octet-stream
game3.tar.gz    2011-Nov-13 11:53:01    5.5M    application/octet-stream'''


def what_dir(x, content):
    for line in content.splitlines():
        if x in line.split(None,1)[0]:
            return line.split(None,1)[0]
  

.

Редактировать

Помогает ли это вам? :

 import urllib
import re

sock = urllib.urlopen('http://pastie.org/pastes/1801547/reply')
content = sock.read()
sock.close()

spa = re.search('<textarea class="pastebox". ?</textarea>',content,re.DOTALL).span()

regx = re.compile('href=amp;quot;(. ?)amp;quot;amp;>\1amp;<')

print regx.findall(content,*spa)
  

РЕДАКТИРОВАТЬ 2

Или это то, чего ты хочешь? :

 import urllib
import re

sock = urllib.urlopen('http://pastie.org/pastes/1801547/reply')
content = sock.read()
sock.close()

spa = re.search('<textarea class="pastebox". ?</textarea>',content,re.DOTALL).span()
regx = re.compile('href=amp;quot;(. ?)amp;quot;amp;>\1amp;<')
dic = dict((name.split('.')[0],'http://pastie.org/pastes/1801547/' name)
           for name in regx.findall(content,*spa))
print dic
  

Результат

 {'game3': 'http://pastie.org/pastes/1801547/game3.tar.gz',
 'game2': 'http://pastie.org/pastes/1801547/game2.tar.gz',
 'game1': 'http://pastie.org/pastes/1801547/game1.tar.gz'}
  

На YouTube есть несколько видеороликов об установке и использовании Beautiful Soup 4 для «scrape». Они довольно подробные. Я все еще медленно просматриваю их, но первый из них был установлен и запущен.
Найдите «Красивый суп» на YouTube.