Блог

Главная - Вопросы по программированию - Я пытался извлечь данные из URL-адреса с помощью UrlFetchApp в appscript, но в моем случае он возвращает пустые значения, как решить эту проблему?

Я пытался извлечь данные из URL-адреса с помощью UrlFetchApp в appscript, но в моем случае он возвращает пустые значения, как решить эту проблему?

#javascript #google-apps-script #web-scraping #google-sheets #urlfetch

Вопрос:

На самом деле, я пытаюсь извлечь данные из этого первый URL-адрес и, когда я просмотреть его в Chrome в первый раз он возвращает массив, имеющий ключа с пустыми значениями, но когда я загрузить указатель страницы данного сайта, а затем загрузить первый URL-адрес, тогда он возвращает массив, имеющий ключи с их значениями и от этого, Я предполагаю, что первый URL-адрес зависит от файлов cookie и только индексирует страницы создает куки и когда я пытаюсь получить данные из первого URL-адреса с помощью UrlFetchApp способ в приложение-скрипт, он возвращает только ключи с пустые значения , как это происходит, когда вы открываете первый URL-адрес в первый раз в вашем браузере без необходимости файлы cookie в вашем браузере, кажется, что есть проблема с файлами cookie для данного веб-сайта, и это мешает мне получить данные из первого URL-адреса, поэтому в моем случае UrlFetchApp не работает или я делаю это неправильно, и если кто-нибудь может сказать мне, как я должен сделать это, то это было бы большим подспорьем.

Ниже приведен код, который я использую для извлечения данных.

   function ESTIMATED_SALES() {
    var link = "https://fbatoolkit.com/estimate_ajax?category=UGV0IFN1cHBsaWVzamp;rank=6000";
    const respond = UrlFetchApp.fetch(link).getContentText();
  Logger.log(respond);
}

А вот журнал выполнения моего кода

 12:26:58 AM Notice  Execution started
12:26:57 AM Info    {"sales_per_day_30day_avg": "", "tg_flash": null, "sales_per_day_1day_avg": ""}
12:26:59 AM Notice  Execution completed

ИЛИ если есть какой-либо способ получить данные непосредственно со страницы индекса, разместив данные полезной нагрузки в определенном поле ввода страницы индекса и получив ответ обратно?

Комментарии:

1. Привет! Я не увлекаюсь сценариями Google, но я проверил URL, который вы используете, и, похоже, он также возвращает некоторые пустые значения: { sales_per_day_30day_avg:»», tg_flash: null, sales_per_day_1day_avg: «» } Я что-то пропустил, или вы, возможно, используете неправильный URL / возникли проблемы с серверной частью?

2. Эй, @Jonas, когда я просматриваю прикрепленный URL-адрес в своем браузере Chrome, он возвращает данные, которые идеально подходят, и это то, что я хочу получить в приложении-скрипте, но когда я пытаюсь получить его в приложении-скрипте, он возвращает только неполный или недостаточный объем данных, который в моем случае бесполезен.

3. Если я введу URL-адрес в своем браузере, он вернется пустым…

4. @RemcoE33 ок, я только что узнал, почему он возвращает пустое значение в первый раз, когда вы доступ к URL в браузере, и вот что происходит, когда я загружаю данные в приложение-скрипт, поэтому я просто попробовал его в режиме инкогнито, и он возвращает пустые значения, поэтому я просмотрел указатель страницы fbatoolkit.com для загрузки файлов cookies, а затем в следующем разделе я просмотрел этот URL-адрес, и теперь он работает. Таким образом, это может быть проблемой файлов cookie этого веб-сайта.

5. Если данные загружаются динамически, вам нужен «браузер без головы», который выполняет рендеринг страниц на стороне сервера.

Метки: , ,