#javascript #node.js
#javascript #node.js
Вопрос:
Я пытаюсь протестировать метод, в котором я могу попробовать очистить файлы из определенной папки на веб-сайте, например:
Содержимое, которое я хочу сканировать, находится в этой конкретной папке: example.com/assets/filename-xxx.js Существует 40-50 таких файлов, как этот, но все они имеют разные номера в качестве суффикса.
Как я могу установить метод с использованием NodeJS, условно добавив в цикл for, чтобы добавить случайное число и посмотреть, есть ли совпадение для загрузки файла, если совпадения нет, он пропустит и перейдет к следующему номеру, технически это должно выполняться не более 999 раз.
В настоящее время я использую website-scraper и текущий код
const scrape = require('website-scraper');
const websiteUrl = 'http://example.com/assets/';
scrape({
urls: [websiteUrl],
urlFilter: function (url) {
return url.indexOf(websiteUrl) === 0;
},
recursive: true,
maxDepth: 50,
prettifyUrls: true,
filenameGenerator: 'bySiteStructure',
directory: './node-website'
}).then((data) => {
console.log("Entire website succesfully downloaded");
}).catch((err) => {
console.log("An error ocurred", err);
});
Однако это не работает, потому что оно переходит только по ссылкам, есть идеи по решению?
Комментарии:
1. почему бы просто не использовать
fetch()
вtry/catch
блоке? У вас есть URL-адреса, вы не очищаете содержимое HTML — вы извлекаете файлы из известного источника.
Ответ №1:
Вы можете попробовать https://pptr.dev / (Кукловод)
пакет npm (https://www.npmjs.com/package/puppeteer )
Это работает для меня
Комментарии:
1. Ваш ответ можно улучшить, добавив больше информации о том, что делает этот пакет, как реализовать и как это помогает OP.