Блог

У меня проблема, связанная с функционированием сайта, с которого я хочу получить данные. На практике, когда я загружаю HTML-код сайта, он загружает все, но не те данные, которые я хочу, я заметил, что когда вы открываете сайт до того, как появятся нужные мне данные, появляется буферизующий gif, поэтому я добавил задержку на много секунд (я также пробовал несколько минут, но результат не меняется) чтобы разрешить HtmlUnit загружать сайт, но, по-видимому, проблема не в этом. Я искал ответы весь день, но ничего не нашел.

Я оставляю вам сайт: https://www.finderbet.it/surebet /

и код:

 import com.gargoylesoftware.htmlunit.*; 
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import java.io.IOException;

public class Scraper {
    private static final String url="https://www.finderbet.it/surebet/";
    public static void main(String[] args) {

        WebClient client= new WebClient(BrowserVersion.BEST_SUPPORTED);
        client.getOptions().setCssEnabled(false);
        client.getOptions().setJavaScriptEnabled(false);

        try {
            HtmlPage page= client.getPage(url);
            Thread.sleep(10000);
            System.out.println(page.asXml());
        } catch (IOException e) {
            e.printStackTrace();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }

    }

}
  

Этот «буфер», который вы видите, является вызовом AJAX — если бы вы вызывали его напрямую.. Он выдает данные, которые вы ищете. IE

 finderbet.it/wp-json/bet/v1/getItems
  

Вы можете использовать get параметры для фильтрации JSON, включая разбивку на страницы, т.Е.

 https://www.finderbet.it/wp-json/bet/v1/getItems?surebet_do_set_filter=NOPEamp;action-set-filtri_nonce=d20ddf9c95amp;bookmakers=amp;sports=amp;data_evento_da=amp;data_evento_a=amp;profitto_min=amp;puntate=tuttiamp;orderBy=profittoamp;order=descamp;page=1
  

Что сводится к:

 https://www.finderbet.it/wp-json/bet/v1/getItems
    surebet_do_set_filter=NOPE
    action-set-filtri_nonce=d20ddf9c95
    bookmakers=
    sports=
    data_evento_da=
    data_evento_a=
    profitto_min=
    puntate=tutti
    orderBy=profitto
    order=desc
    page=1