Блог

Я пишу небольшой поисковый робот. Какой наилучший способ загрузить исходный HTML веб-страницы? В настоящее время я использую небольшой фрагмент кода, приведенный ниже, но иногда результатом является только половина исходного кода страницы!!! Я не знаю, в чем проблема. Некоторые люди предположили, что я должен использовать Jsoup, но используя .get.html Функция () из Jsoup также возвращает половину исходного кода страницы, если он слишком длинный. Поскольку я пишу сканер, очень важно, чтобы метод поддерживал Unicode (UTF-8), и эффективность также очень важна. Я хотел узнать лучший современный способ сделать это, поэтому я спросил вас, ребята, поскольку я новичок в Java. Спасибо.

Код:

 public static String downloadPage(String url)
    {
        try
        {
            URL pageURL = new URL(url);
            StringBuilder text = new StringBuilder();
            Scanner scanner = new Scanner(pageURL.openStream(), "utf-8");
            try {
                while (scanner.hasNextLine()){
                    text.append(scanner.nextLine()   NL);
                }
            }
            finally{
                scanner.close();
            }
            return text.toString();
        }
        catch(Exception ex)
        {
            return null;
        }
    }
  

Я использую commons-io String html = IOUtils.toString(url.openStream(), "utf-8");

Лично я очень доволен HTTP-библиотекой Apachehttp://hc.apache.org/httpcomponents-client-ga /. Если вы пишете веб-сканер, которым я также являюсь, вы можете высоко оценить контроль, который он дает над такими вещами, как файлы cookie, общий доступ к клиентам и тому подобное.