Блог

Я пытаюсь удалить некоторое содержимое с веб-сайта, но приведенный ниже код не работает (не показывает никаких выходных данных). вот код

 $url="some url";
$otherHeaders="";   //here i am using some other headers like content-type,userAgent,etc
some curl to get the webpage
...
..
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
$content=curl_exec($ch);curl_close($ch);

$page=new DOMDocument();
$xpath=new DOMXPath($page); 
$content=getXHTML($content);  //this is a tidy function to convert bad html to xhtml 
$page->loadHTML($content);    // its okay till here when i echo $page->saveHTML the page is displayed

$path1="//body/table[4]/tbody/tr[3]/td[4]";
$path2="//body/table[4]/tbody/tr[1]/td[4]";

$item1=$xpath->query($path1);
$item2=$xpath->query($path2);

echo $item1->length;      //this shows zero 
echo $item2->length;      //this shows zero

foreach($item1 as $t)
echo $t->nodeValue;    //doesnt show anything
foreach($item2 as $p)
echo $p->nodeValue;    //doesnt show anything
  

я уверен, что с приведенным выше xpath кодом что-то не так. xpaths указаны правильно. Я проверил вышеизложенное xpaths с помощью FirePath (a firefox addon) . Я знаю, что здесь я упускаю что-то очень глупое, но я не могу разобрать. Пожалуйста, помогите.
Я проверил аналогичный код для удаления ссылок с Wikipedia (определенно xpaths они отличаются), и он работает отлично.
Итак, я не понимаю, почему приведенный выше код не работает для другого URLs . Я очищаю HTML содержимое с помощью Tidy , поэтому я не вижу проблемы с тем, что xpath неправильно загружает HTML?
я проверил длину nodelist после $item1=$xpath->query($path1) , которая 0 означает, что что-то идет не так с $xpath->query , потому что xpaths они верны, как я проверил с FirePath
Я немного изменил свой код, как указано, и использовал loadXML вместо loadHTML .
но это выдает ошибку, поскольку Entity 'nbsp' not defined in Entity поэтому я использовал libxml опцию LIBXML_NOENT для замены объектов, но ошибки все равно остаются.

Да, вам не хватает чего-то очень простого: это XHTML, поэтому вы должны зарегистрировать (и использовать!) правильное пространство имен, прежде чем вы сможете ожидать получения результатов.

 $xpath->registerNamespace('x', 'http://www.w3.org/1999/xhtml');

$path1="//x:body/x:table[4]/x:tbody/x:tr[3]/x:td[4]";
$path2="//x:body/x:table[4]/x:tbody/x:tr[1]/x:td[4]";

$item1=$xpath->query($path1);
$item2=$xpath->query($path2);
  

Похоже, что проблема каким-то образом связана с XPath и пространствами имен. В руководстве по Php был обнаружен интересный комментарий пользователя

Если вы зарегистрировали свои пространства имен, загрузили свой XHTML и т.д. В объект DOMDocument вашего XPath и все еще не можете заставить его работать, убедитесь, что вы не использовали функцию loadHTML DOMDocument() или loadHTMLFile() . Для XHTML всегда используйте версии XML, иначе ваш XPath никогда не будет работать.

Ваш код использует loadHTML()

 $content=getXHTML($content);  //this is a tidy function to convert bad html to xhtml 
$page->loadHTML($content);    // its okay till here when i echo $page->saveHTML the page is displayed
  

HTML не поддерживает пространство имен, поэтому loadHTML() может не задать пространства имен для элементов объекта document, даже если они были в исходном документе (или XHTML, выводимом Tidy).

Поскольку вы используете Tidy для преобразования документа в XHTML, я думаю, вы могли бы безопасно использовать loadXML() , не сталкиваясь с ошибками синтаксического анализа. Обратите внимание, что для этого потребуется, чтобы входные данные представляли собой правильно сформированный XML. Также он может не знать о предопределенных HTML объектах, таких как amp;nbsp; , и если это так, он не может заменить объекты их правильными значениями символов. Если возникает такая проблема, попробуйте установить другие параметры для loadXML() .

Я слышал, что FireFox добавляет tbody элемент, если такового нет.

В дополнение к совету @Tomalak или независимо от него, попробуйте выражения XPath с удаленным /tbody шагом location.

Кроме того, используйте другой инструмент в качестве визуализатора XPath, чтобы создать правильные выражения XPath и сразу увидеть, что они выбирают.

Этот вопрос напоминает мне, что часто решение проблемы заключается в простоте, а не в усложнениях. я пытался namespaces , error corrections и т.д., Но решение просто потребовало тщательной проверки кода. проблема с моим кодом заключалась в порядке loadHTML() и xpath initialization . изначально заказ был

 $xpath=new DOMXPath($page);
$page->loadHTML($content);
  

делая это, я фактически инициализировал xapth пустой документ. теперь изменив порядок, сначала загрузив dom с помощью html , а затем инициализировав xpath , я смог получить желаемые результаты. Также, как предполагается, при удалении tbody элемента из xpath as firefox он автоматически вставляется. таким образом, правильное xpath должно быть

 $path1="//body/table[4]/tr[3]/td[4]";
$path2="//body/table[4]/tr[1]/td[4]";
  

спасибо всем за их предложения и понимание этого.

(Попробуйте следующее как в сочетании с другими ответами, так и отдельно от них, поскольку это другие возможные предостережения.)

Если ваш XPath не работает, попробуйте применить только его части, чтобы убедиться, что вы действительно следуете по правильному пути. Итак, сделайте что-то вроде:

 $path1="//body";
$item1 = $xpath->query($path1);

foreach ($item1 as $t) {
    // to see the full XML of the returned node, as the nodeValue may be empty
    echo $t->ownerDocument->saveXML($t); 
}
  

Затем продолжайте увеличивать ваш XPath до нужного вам местоположения.

Кроме того, если вы обнаружите, что nodeValue и textContent ваших узлов пусты, вам следует убедиться, что вы загружаете в DOMDocument правильную кодировку (например, если ответ cURL возвращает UTF-8, вам нужно будет передать ‘UTF-8’ в качестве второго параметра при создании вашего DOMDocument).