Блог

Я пытался получить информацию с веб-страницы, в частности с этого сайта: http://www.ncbi.nlm.nih.gov/pubmed?term=»pulmonary disease, chronic obstructive»[Mesh] (среди других подобных). Для этого я использую пакеты URL и URLConnection. Я пытаюсь получить определенное число с веб-страницы — на этой странице мне нужно общее количество статей (16428).

В верхней части страницы написано следующее: «Результаты: от 1 до 20 из 16428», и когда я смотрю на источник страницы вручную, я могу найти это. Однако, когда я пытаюсь использовать соединение Java для получения этого номера из источника страницы, по какой-то причине полученное число равно «863399» вместо «16428».

Код:

     URL connection = new URL("http://www.ncbi.nlm.nih.gov/pubmed?term="pulmonary disease, chronic obstructive"[Mesh]");
    URLConnection yc = connection.openConnection();
    BufferedReader in = new BufferedReader(new InputStreamReader(yc.getInputStream()));
    String html = "";
    String inputLine;
    while ((inputLine = in.readLine()) != null) html  = inputLine;
    in.close();


    int startMarker = html.indexOf("ncbi_resultcount");
    int endMarker = html.indexOf("ncbi_op");

    System.out.println(html.substring(startMarker, endMarker));
 

Когда я запускаю этот код, я получаю:

ncbi_resultcount» content=»863399″ />

вместо:

ncbi_resultcount» content=»16428″ />

Кто-нибудь знает, почему это / как я могу это исправить?

Спасибо!

Я не могу воспроизвести вашу проблему и понятия не имею, почему это происходит. Возможно, он отслеживает конкретные версии пользовательского агента Java. Затем вам нужно будет попытаться установить User-Agent заголовок на что-то другое, чтобы притвориться «настоящим» веб-браузером.

 yc.setRequestProperty("User-Agent", "Mozilla");
 

Не имея отношения к конкретной проблеме, я бы предложил использовать для этой работы настоящий синтаксический анализатор HTML, такой как Jsoup. Тогда это так просто, как:

 Document document = Jsoup.connect("http://www.ncbi.nlm.nih.gov/pubmed?term="pulmonary disease, chronic obstructive"[Mesh]").get();
Element nbci_resultcount = document.select("meta[name=ncbi_resultcount]").first();
System.out.println(nbci_resultcount.attr("content")); // 16433