Блог

В python с использованием библиотеки lxml как мне прочитать значения td в html-таблицах? Я попытался прочитать таблицу xpath, но не могу найти правильный параметр для возврата значений td. Спасибо всем, я ценю это.

 import sys
from glob import *
from lxml import etree, html
import requests
#Scan directory (current) and scrape the html files
dirScan = glob('html/*.*')
fileCount = 0
while(fileCount < len(dirScan)):
    fileName =  dirScan[fileCount]
    page = open(fileName)
    tree = html.fromstring(page.read())
   tables = tree.xpath('//table')
   print("Tables:",tables)
  

page.html

  <table style="width:100%">
 <tr align="right"><td>1</td><td>John</td><td>Smith</td>
 <tr align="right"><td>2</td><td>Tody</td><td>Miller</td>
</table> 
  

Если вы хотите найти td внутри tr с выравниванием по правому краю, вам нужен фильтр ti с использованием атрибута align:

 tds = tree.xpath("//table/tr[@align='right']/td")
  

Если вам просто нужен текст из каждого td:

 .xpath("//table/tr[@align='right']/td/text()")
  

Но на самом деле вы, вероятно, хотите сохранить ассоциацию, поэтому вам следует просто найти trs, а затем сгруппировать текст td:

 x = """<table style="width:100%">
 <tr align="right"><td>1</td><td>John</td><td>Smith</td>
 <tr align="right"><td>2</td><td>Tody</td><td>Miller</td>
</table> """

from lxml import html

tree = html.fromstring(x)

# first get the trs, filtering by attribute 
trs = tree.xpath("//table/tr[@align='right']")

# then extract the tds from each tr 
data = [row.xpath("td/text()") for row in trs]
  

Что дало бы вам:

 [['1', 'John', 'Smith'], ['2', 'Tody', 'Miller']]
  

И если бы вы просто хотели каждое имя, вы могли бы пропустить первый td:

 trs = tree.xpath("//table/tr[@align='right']")

# position() > 1, all but the first td, xpath has one based indexing.
names = [row.xpath("td[position()> 1]/text()") for row in trs])
  

Или объединение в одну строку:

  full_names [" ".join(row.xpath("td[position()> 1]/text()")) for row in trs]
  

код

  >>> page="""<table style="width:100%">
      <tr>
        <th>Id</th>
        <th>Name</th>
        <th>Age</th>
      </tr>
      <tr>
        <td>1</td>
        <td>Smith</td>
        <td>50</td>
      </tr>
      <tr>
        <td>2</td>
        <td>Jackson</td>
        <td>94</td>
      </tr>
      <tr>
        <td>3</td>
        <td>Miller</td>
        <td>43</td>
      </tr>
    </table> """
    >>> tree=html.fromstring(s)
    >>> tree.xpath('//tr/td//text()')
  

вывод:

 ['1', 'Smith', '50', '2', 'Jackson', '94', '3', 'Miller', '43']