Блог

Я хочу определить размер веб-страницы, и поэтому, если он больше некоторого числа (например, 5 МБ), я загружу его или нет. Могу ли я получить эту информацию?

Вы можете сделать приличное приближение с:

 HttpURLConnection content = (HttpURLConnection) new URL("www.example.com").openConnection();
System.out.println(content.getContentLength());
  

Однако это сообщит вам только длину конкретного ресурса, который вы запрашиваете (например, HTML в основании URL-адреса). Вам также нужно просмотреть HTML-код страницы, просмотреть все ресурсы, на которые он ссылается (скрипты с других сайтов, изображения, видео и т.д.) И суммировать их все.

Это приблизит вас к общему размеру, но даже тогда вы не получите идеального подсчета, потому что (а) не все URL-адреса будут возвращать эту информацию, и у вас нет никакого контроля над этим, и (б) в зависимости от того, как загружается контент (например, через AJAX-вызовы, которые скрывают специфику), вы не сможете заранее узнать полный список ресурсов для загрузки.

В качестве альтернативы, если URL-адрес не возвращает результат, я думаю, Джакомо предлагал использовать CounterInputStream. Неплохая идея. Возможно, вы могли бы объединить вышеупомянутое предложение с CounterInputStream, чтобы вести подсчет общего количества отправленных файлов и, возможно, остановить передачу, когда она достигнет указанного максимального общего размера передачи. Таким образом, у вас, по сути, будет прогнозируемый размер (скажем, сайт сообщает вам, что он составит 3,3 МБ), но по мере загрузки вы обнаруживаете, что на самом деле он составляет 6 МБ и еще не остановлен, и принимаете решение больше не загружать.

Я могу ошибаться, однако вы не можете просто использовать

 HttpURLConnection conn = (HttpURLConnection) new URL("http://www.google.com").openConnection();
System.out.println(conn.getContentLength());
  

?