Блог

Я должен сканировать https://motul.lubricantadvisor.com/Default.aspx?data=1amp;lang=ENGamp;lang=eng

но как я могу выполнить обход этого веб-сайта. Я думаю, что он использует jQuery. некоторые люди говорят, что вы должны использовать ajax. но я буду содержать базу данных с помощью mongodb, поэтому я буду использовать node.js как я могу это сделать?

Вместо использования NodeJS (предназначенных для других целей), используйте PhantomJS, который специально разработан для тестирования / очистки веб-страниц. Поскольку он использует JavaScript, вам должно быть довольно легко освоить его.

Другой метод (если вы хотите использовать Node) — выяснить, как эта веб-страница взаимодействует с базовым бэкэндом, и подключиться непосредственно к бэкэнду, используя библиотеку, такую как node-XMLHttpRequest .

Еще одним вариантом является извлечение данных непосредственно с веб-страницы с помощью artoo.js , который вводится непосредственно на отображаемую веб-страницу и позволяет вам очистить веб-страницу с помощью селекторов jQuery.

Примечание по этике: однако, как и при любой очистке, пожалуйста, будьте осторожны и очищайте только те веб-сайты, на которые у вас есть явное разрешение.Вы можете не только красть их данные, но и тратить впустую их пропускную способность (и, следовательно, их деньги), поэтому, пожалуйста, будьте внимательны при использовании любого инструмента очистки.