Блог

У меня есть следующая проблема с дизайном, для решения которой я надеюсь получить вашу помощь. Ниже приведен упрощенный взгляд на то, как выглядит код

 class DataProcessor{
    public List<Record> processData(DataFile file){ 
        List<Record> recordsList = new ArrayList<Record>();
        for(Line line : file.getLines()){
            String processedData = processData(line);
            recordsList.add(new Record(processedData));
        }
    }

    private String processData(String rawLine){
        //code to process line
    }
}
class DatabaseManager{
    saveRecords(List<Record> recordsList){
        //code to insert records objects in database
    }
}
class Manager{
    public static void main(String[] args){

        DatabaseManager dbManager = new DatabaseManager("e:\databasefile.db");
        DataFile dataFile = new DataFile("e:\hugeRawFile.csv");
        DataProcessor dataProcessor = new DataProcessor();
        dbManager.saveRecords(dataProcessor.processData(dataFile));
    }
}
  

Как вы можете видеть, метод «ProcessData» класса «DataProcessor» принимает объект DataFile, обрабатывает весь файл, создает объект записи для каждой строки, а затем возвращает список объектов «Записи».

Моя проблема с методом «ProcessData»: когда необработанный файл действительно огромен, объекты «Список записей» занимают много памяти, и иногда программа выходит из строя. Мне нужно изменить текущий дизайн, чтобы минимизировать использование памяти. «DataProcessor» не должен иметь прямого доступа к «DatabaseManager». Я думал о передаче очереди в метод «ProcessData», где один поток запускает метод «ProcessData», чтобы вставить объект «Record» в очередь, в то время как другой поток удаляет объект «Record» из очереди и вставляет его в базу данных. Но я не уверен в проблемах с производительностью при этом.

Возложите ответственность за запуск процесса на наиболее ограниченный ресурс (в вашем случае DataProcessor ) — это обеспечит наилучшее соблюдение ограничений, а не доведет их до предела.

Примечание: даже не думайте о многопоточности, это не принесет вам никакой пользы для обработки файлов. Потоки будут решением, если ваши данные поступают по проводам, когда вы не знаете, когда поступит ваш следующий блок данных. Возможно, у вас есть дела поважнее с вашим процессорным временем, чем ждать, «пока коровы придут домой на ночлег» (ухмылка). Но с файлами? Вы знаете, что у задания есть начало и конец, поэтому выполняйте его как можно быстрее.

 class DataProcessor{
    public List<Record> processData(DataFile file){ 
        List<Record> recordsList = new ArrayList<Record>();
        for(Line line : file.getLines()){
            String processedData = processData(line);
            recordsList.add(new Record(processedData));
        }
    }

    private String processData(String rawLine){
        //code to process line
    }

    public void processAndSaveData(DataFile dataFile, DatabaseManager db) {
      int maxBuffSize=1024;
      ArrayList<Record> buff=new ArrayList<Record>(maxBuffSize);
      for(Line line : file.getLines()){
        String processedData = processData(line);
        buff.add(new Record(processedData));
        if(buff.size()==maxBuffSize) {
          db.saveRecords(buff);
          buff.clear();
        }
      }
      // some may be still unsaved here, less that maxBuffSize
      if(buff.size()>0) {
        db.saveRecords(buff);
        // help the CG, let it recycle the records
        // without needing to look "is buff still reacheable"? 
        buff.clear();
      }
   }
}

class Manager{
    public static void main(String[] args){

      DatabaseManager dbManager = new DatabaseManager("e:\databasefile.db");
      DataFile dataFile = new DataFile("e:\hugeRawFile.csv");
      DataProcessor dataProcessor = new DataProcessor();

      // So... do we need another stupid manager to tell us what to do?
      // dbManager.saveRecords(dataProcessor.processData(dataFile));

      // Hell, no, the most constrained resource knows better
      // how to deal with the job!
      dataProcessor.processAndSaveData(dataFile, dbManager);
    }
}
  

[править] Обращаясь к «но мы договорились о том, что и как, и теперь вы приходите, чтобы сказать нам, что нам нужно написать дополнительный код?»

Создайте AbstractProcessor класс и попросите своих товарищей просто вывести из него.

 class AbstractProcessor {
  // sorry, need to be protected to be able to call it
  abstract protected Record processData(String rawLine);

  abstract protected Class<? extends Record> getRecordClass();

  public void processAndSaveData(DataFile dataFile, DatabaseManager db) {
    Class<? extends Record> recordType=this.getRecordClass();
    if(recordType.equals(MyRecord1.class) {
      // buffered read and save MyRecord1 types specifically
    }
    else if(recordType.equals(YourRecord.class)) {
      // buffered read and save YourRecord types specifically
    }
    // etc...
  }
}
  

Теперь все, что им нужно сделать, это «закодировать» extends AbstractProcessor и сделать их processData(String) защищенными и написать тривиальный метод, объявляющий его тип записи (также может быть перечислением). Это не значит, что вы требуете от них огромных усилий и делаете то, что было бы дорогостоящим (или даже невозможным для входного файла TB), операцией «как можно быстрее».

Вы должны иметь возможность использовать потоковую передачу для выполнения этого в одном потоке, по одной записи за раз в памяти. Реализация зависит от технологии, используемой вашим DatabaseManager.