#python #html #web-scraping #html-parsing #beautifulsoup
#питон #HTML #соскабливание полотна #html-синтаксический анализ #beautifulsoup
Вопрос:
Я пытаюсь извлечь данные из таблицы с помощью BeautifulSoup. Возникает следующая проблема: [u'A Southern RV, Inc.1642 E New York AveDeland, FLPhone: (386) 734-5678Website: www.southernrvrentals.comEmail: mysouthernrv@yahoo.comxa0n'] из таблицы, содержащей строки, которые выглядят как
<table id="ctl00_TemplateBody_WebPartManager1_gwpste_container_SearchForm_ciSearchForm_RTable" border="0">
<tbody><tr style="background-color:#990000;">
<th align="left" colspan="3" style="margin-top:5px;margin-bottom:5px;"><span id="ctl00_TemplateBody_WebPartManager1_gwpste_container_SearchForm_ciSearchForm_RSCount" style="color:White;">Your search results returned (85) records </span></th>
</tr><tr>
<td class="ml15" align="left" valign="top"><img src="./RVDealers-Florida_files/AfterMarket2.gif" alt="After Market Member Logo" border="0"> </td><td class="ml15" align="left" valign="top"><span style="font-weight:bold;">A Southern RV, Inc.</span><br>1642 E New York Ave<br>Deland, FL<br>Phone: (386) 734-5678<br>Website: <a href="http://www.southernrvrentals.com/" target="_blank">www.southernrvrentals.com</a><br>Email: <a href="mailto:mysouthernrv@yahoo.com" target="_blank">mysouthernrv@yahoo.com</a></td><td class="ml15" align="left" valign="top">amp;nbsp;</td>
</tr><tr>
<td colspan="3"><hr></td>
</tr><tr>
<td class="ml15" align="left" valign="top"><img src="./RVDealers-Florida_files/AfterMarket2.gif" alt="After Market Member Logo" border="0"> </td><td class="ml15" align="left" valign="top"><span style="font-weight:bold;">Alec's Truck Trailer amp;amp; RV</span><br>16960 S Dixie Hwy<br>Miami, FL<br>Phone: (305) 234-5444<br>Website: <a href="http://www.alecstruck.com/" target="_blank">www.alecstruck.com</a><br>Email: <a href="mailto:austins123@bellsouth.net" target="_blank">austins123@bellsouth.net</a></td><td class="ml15" align="left" valign="top">amp;nbsp;</td>
</tr><tr>
<td colspan="3"><hr></td>
</tr><tr>
<td class="ml15" align="left" valign="top"><img src="./RVDealers-Florida_files/RVRAMember2.gif" alt="RVRA Member Logo" border="0"><br> <img src="./RVDealers-Florida_files/GoRVDealer2.gif" alt="Go RV Dealer Logo" border="0"><br> </td><td class="ml15" align="left" valign="top"><span style="font-weight:bold;">All Star Coaches</span><br>131 NW 73rd Terraces, Bay 1117<br>Fort Lauderdale, FL<br>Phone: (866) 838-4465<br>Website: <a href="http://www.allstarcoaches.com/" target="_blank">www.allstarcoaches.com</a><br>Email: <a href="mailto:info@allstarcoaches.com" target="_blank">info@allstarcoaches.com</a></td><td class="ml15" align="left" valign="top">amp;nbsp;</td>
</tr><tr>
<td colspan="3"><hr></td>
</tr><tr>
<td class="ml15" align="left" valign="top"><img src="./RVDealers-Florida_files/RVDAMember2.gif" alt="RVDA Member Logo" border="0"><br> <img src="./RVDealers-Florida_files/GoRVDealer2.gif" alt="Go RV Dealer Logo" border="0"><br> </td><td class="ml15" align="left" valign="top"><span style="font-weight:bold;">Alliance Coach</span><br>4505 Monaco Way<br>Wildwood, FL<br>Phone: (866) 888-8941<br>Website: <a href="http://www.alliancecoachonline.com/" target="_blank">www.alliancecoachonline.com</a><br>Email: <a href="mailto:ashap1@aol.com" target="_blank">ashap1@aol.com</a></td><td class="ml15" align="left" valign="top"><table width="100%" border="0" cellpadding="0" cellspacing="5"><tbody><tr><td valign="top" width="75" align="left"><img src="./RVDealers-Florida_files/Cert_web.jpg" height="75" width="75" alt="Certified RV Technician" border="0"></td> <td valign="top" style="font-size:8px;font-weight:bold;" align="left" nowrap=""><img src="./RVDealers-Florida_files/RVLCenter_web.jpg" height="33" width="93" alt="RV Learning Center Certifications" border="0"><br>amp;nbsp;Certifications:<ul><li style="font-size:7px;">amp;nbsp;Service Writer/Advisor</li><li style="font-size:7px;">amp;nbsp;Parts Specialist</li><li style="font-size:7px;">amp;nbsp;Parts Manager</li><li style="font-size:7px;">amp;nbsp;Warranty Administrator</li></ul></td></tr></tbody></table></td>
</tr><tr>
<td colspan="3"><hr></td>
Проблема в том, что когда я очищаю данные, все они конденсируются в одну длинную строку без каких-либо пробелов или возвратов каретки. Как я могу это исправить? Я использую этот код для извлечения текста из таблицы:
mech = Browser()
page = mech.open(BASE_URL_DIRECTORY)
html = page.read()
soup = BeautifulSoup(html)
data = extract(soup)
def extract(soup):
table = soup.find("table",attrs={'id':'ctl00_TemplateBody_WebPartManager1_gwpste_container_SearchForm_ciSearchForm_RTable'})
#print table
data = []
for row in table.findAll("tr"):
s = row.getText()
data.append(s)
return data
Ответ №1:
Вы можете использовать replace_with() для замены каждого br тега новой строкой:
def extract(soup):
table = soup.find("table", attrs={'id':'ctl00_TemplateBody_WebPartManager1_gwpste_container_SearchForm_ciSearchForm_RTable'})
for br in table.find_all('br'):
br.replace_with('n')
return table.get_text().strip()
Для введенного вами HTML-кода он печатает:
A Southern RV, Inc.
1642 E New York Ave
Deland, FL
Phone: (386) 734-5678
Website: www.southernrvrentals.com
Email: mysouthernrv@yahoo.com
Комментарии:
1. Я попробовал ваше решение, но оно выдало только имена (в данном примере Southern RV, Inc). Я включил более полный образец HTML-кода, с которым я имею дело; Я был бы очень признателен, если бы вы взглянули.
2. @Apollo попробовал на примере, который вы предоставили — он действительно хорошо показывает результаты с помощью новых строк. Не могли бы вы уточнить, в чем проблема сейчас? Спасибо.