Блог

Прямо сейчас я обрабатываю веб-скребок, и у меня небольшая проблема. Могу ли я запустить некоторый javascript-код на этой странице с помощью моего скребка? Поскольку некоторые результаты появляются сразу после того, как посетитель выбирает что-то, я не могу получить их оттуда. Вот пример:http://www.finnmatkat.fi/akkilahdot/Post.aspx

Это список для Хельсинки, и если я хочу выбрать Vasaa, я должен выбрать его из выпадающего меню. Таким образом, появится новый список. Я не знаю, как я мог бы добраться сюда с моим php scraper. Я что-то слышал о библиотеке curl, которая помогает отправлять переменные с помощью метода GET или POST. Но я не думаю, что это так здесь. Также возможно использовать ajax, но я не могу туда попасть. Кто-нибудь может дать мне подсказку здесь?

Я думаю, что это действительно сложно!

Может быть, в сочетании с Selenium каким-то образом? Однако это уже не чистый PHP.

Другим подходом было бы создать свой собственный PHP-браузер. Возьмите V8js и интерпретируйте все материалы самостоятельно. Это было бы действительно классным решением! Ладно, может быть, немного слишком много накладных расходов … 😉

Вы можете создать запрос с помощью curl и отправить параметры POST. Вы можете отслеживать фактический запрос и отправляемые заголовки и реплицировать их.