Блог

Мне нужно создать систему для извлечения огромных объемов данных из коллекции веб-страниц. Многие из этих сайтов (возможно, около 90%) работают на различных системах javascript. Мне интересно, какой наиболее эффективный метод извлечения этих данных?

Поскольку каждый сайт индивидуален, я ищу гибкое решение, а поскольку сайтов много, я ищу решение, которое будет оказывать как можно меньшую нагрузку на мою сеть.

Большая часть моего опыта программирования связана с C, C и Perl, но я рад всему, что дает наилучший результат.

На веб-страницах постоянно обновляются цифры и статистика, которые я хочу извлечь и выполнить некоторый анализ, поэтому мне нужно иметь возможность легко сохранять их в базе данных.

Я провел собственное исследование, но здесь у меня действительно ничего не получается. Я надеюсь, что кто-нибудь еще сможет мне помочь! 🙂

Вам понадобится браузер, который интерпретирует JavaScript и выполняет фактические запросы за вас. Затем вам нужно будет сделать DOM-снимок интерпретируемого результата. Это не будет тривиальным, и это будет невозможно в чистом PHP.

У меня нет собственного опыта работы с этим, но, возможно, пакет Selenium может помочь. Это пакет автоматизации, используемый для тестирования программного обеспечения, но, согласно этой статье, в некоторой степени может также использоваться для очистки.

Возможно, вам стоит попробовать PHP DOMDocument class. Например, этот код «украдет» все теги таблицы из URL.

 $data=array();    
$url='your.site.com';
$out=file_get_contents($url);
$dom=new DOMDocument();
$dom->loadHTML($out);
foreach($dom->getElementsByTagName('table') as $table){
data[]=$table->nodeValue;
}
print_r($data);
  

Вы можете использовать весь DOM и анализировать весь HTML-документ и управлять им. Рассмотрите возможность асинхронного вызова этого скрипта с использованием AJAX-подхода.