Блог

У меня есть встроенный HTTPServer java 6. У него есть дескриптор, который позволяет клиентам загружать большой текстовый файл. Проблема в том, что когда на сервере одновременно работает более 10 клиентов, я получаю исключение нехватки памяти. Я почти уверен, что проблема связана с Http-сервером.

    HttpServer m_server = HttpServer.create(new InetSocketAddress(8080), 0);
   m_server.createContext("/DownloadFile", new DownloadFileHandler() );

   public class DownloadFileHandler implements HttpHandler {

         private static byte[] myFile = new String("....................").getBytes(); //string about 8M

         @Override
         public void handle(HttpExchange exchange) throws IOException {
                exchange.sendResponseHeaders(HTTP_OK, myFile .length);                 OutputStream responseBody = exchange.getResponseBody();
                responseBody.write(myFile );
                responseBody.close();
         } 
   }
 

Теперь я получаю исключение:

 java.lang.OutOfMemoryError: Java heap space 
at java.nio.HeapByteBuffer.<init>(Unknown Source)
at java.nio.ByteBuffer.allocate(Unknown Source)
at sun.net.httpserver.Request$WriteStream.write(Unknown Source)
at sun.net.httpserver.FixedLengthOutputStream.write(Unknown Source) 
at java.io.FilterOutputStream.write(Unknown Source) 
at sun.net.httpserver.PlaceholderOutputStream.write(Unknown Source) 
at com.shunra.javadestination.webservices.DownloadFileHandler.handle(Unknown Source) 
at com.sun.net.httpserver.Filter$Chain.doFilter(Unknown Source) 
at sun.net.httpserver.AuthFilter.doFilter(Unknown Source) 
at com.sun.net.httpserver.Filter$Chain.doFilter(Unknown Source) 
at sun.net.httpserver.ServerImpl$Exchange$LinkHandler.handle(Unknown Source) 
at com.sun.net.httpserver.Filter$Chain.doFilter(Unknown Source)
at sun.net.httpserver.ServerImpl$Exchange.run(Unknown Source)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(Unknown Source) 
at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
at java.lang.Thread.run(Unknown Source)
Exception in thread "pool-1-thread-24" java.lang.OutOfMemoryError: 
 

Предложение относительно getBytes() не изменяет исключение. я пытался сохранить статическую ссылку на byte[] вместо того, чтобы создавать ее каждый раз. И я все еще получаю то же исключение.

Не делайте этого для больших файлов:

 byte[] bytesToSend = myFile.getBytes();
 

Это неэффективно, и вам нужно место в куче для хранения всех данных файла. Вы тратите много места в куче, когда сначала полностью считываете файл, а затем полностью записываете его.

Вместо этого считывайте / записывайте данные файла порциями определенного размера из файла непосредственно в ответ. Вы можете написать код самостоятельно или просто использовать служебный класс, например IOUtils , из Apache Commons IO.

Важно не читать весь файл сначала, прежде чем записывать его. Вместо этого делайте это меньшими порциями. Используйте здесь потоки и избегайте всего, что связано с byte[], за исключением буферизации и небольших фрагментов.

Редактировать: вот некоторый код с Apache IO…

 public static void main(String[] args) {
    HttpExchange exchange = ...;
    OutputStream responseBody = null;

    try {
        File file = new File("big-file.txt");
        long bytesToSkip = 4711; //detemine how many bytes to skip

        exchange.sendResponseHeaders(200, file.length() - bytesToSkip);
        responseBody = exchange.getResponseBody();
        skipAndCopy(file, responseBody, bytesToSkip);           
    }
    catch (IOException e) {
        // handle it
    }
    finally {
        IOUtils.closeQuietly(responseBody);
    }
}


private static void skipAndCopy(File src, @WillNotClose OutputStream dest, long bytesToSkip) throws IOException {
    InputStream in = null;

    try {
        in = FileUtils.openInputStream(src);

        IOUtils.skip(in, bytesToSkip);
        IOUtils.copyLarge(in, dest);
    }
    finally {
        IOUtils.closeQuietly(in);
    }
}
 

Если вы извлекаете все байты для файла сразу, он должен прочитать их все в память, а затем записать их в файловую систему. попробуйте что-то вроде:

 FileReader reader = new FileReader(myFile);
try{
    char buffer[] = new char[4096];
    int numberOfBytes=0;
    while ((numberOfBytes=reader.read(buffer)) != -1){
        responseBody.write(buffer);
    }
}catch(Exception e){
    //TODO do something with the exception.
}finally{
    reader.close();
}
 

Используйте потоки, чтобы вам не приходилось записывать все данные сразу.

Смотрите getRequestBody и getResponseBody . Вы захотите открыть свой файл как поток и записать байты в соответствующий поток.

С такими большими объемами данных лучше всего передавать данные потоком. Потоковая передача означает, что вы отправляете данные порциями, а не отправляете их все сразу. Это более эффективно для памяти, потому что вам не нужно хранить все данные в памяти, только их фрагменты.

Кроме того, более общий способ возврата данных файла — использовать обычный InputStream вместо a Reader .

• InputStream : используется для чтения любых данных
• Reader : используется для чтения текстовых данных

Использование an InputStream означает, что вам не нужно беспокоиться о кодировках символов. Это также делает ваш код более гибким, поскольку позволяет отправлять двоичные файлы.

Вот полное решение:

 OutputStream responseBody = null;
try{
  File file = new File("bigggggg-text-file.txt");
  InputStream in = new FileInputStream(file);
  exchange.sendResponseHeaders(HTTP_OK, file.length());
  responseBody = exchange.getResponseBody();
  int read;
  byte buffer[] = new byte[4096];
  while ((read = in.read(buffer)) != -1){
    responseBody.write(buffer, 0, read);
  }
} catch (FileNotFoundException e){
  //uh-oh, the file doesn't exist
} catch (IOException e){
  //uh-oh, there was a problem reading the file or sending the response
} finally {
  if (responseBody != null){
    responseBody.close();
  }
}
 

Не преобразовывайте всю строку в байты сразу:

 Writer writer = new OutputStreamWriter(responseBody),someEncoding);
try {
  writer.write(myFile);
}
finally {
  writer.close();
}
 

Проблема в вашем коде, который myFile.getBytes() создает новый массив для каждого запроса.

Вы можете просто улучшить его, удерживая массив байтов вместо строки:

       private static byte[] bytesToSend = "....................".getBytes(); //string about 8M

     @Override
     public void handle(HttpExchange exchange) throws IOException {
            exchange.sendResponseHeaders(HTTP_OK, bytesToSend.length);                                     OutputStream responseBody = exchange.getResponseBody();
            responseBody.write(bytesToSend);
            responseBody.close();
     } 
 

Кстати, и этот код, и ваш код используют getBytes() . Это означает, что он будет использовать кодировку платформы по умолчанию, что не является хорошей практикой. Лучше вызывать его с явной кодировкой, например getBytes("UTF-8")

Еще одно замечание: я исправил ваш код, предполагая, что это реальный код. В случае, если ваша логика более сложная, например, вы разрешаете загружать несколько файлов, лучше использовать потоковую передачу: считывайте входной файл фрагментами и отправляйте фрагменты запрошенному. Не храните слишком много фрагментов в памяти.