Блог

У меня есть 60 миллионов записей в одном CSV размером около 8 ГБ.

Необходимо прочитать записи из файла и вставить его в базу данных с помощью JPA.

Пытаюсь прочитать этот файл с помощью пакета Spring, но производительность очень низкая. Строки, которые я добавил к максимальному размеру блока до 1500, но не сработали.

также добавлен исполнитель задач, создающий потоки, но не работает.

Конфигурация системы. t2. xl имеет 16 гигабайт памяти и 4 vCPU, а также 16 ГБ оперативной памяти и 4-ядерный процессор

  @Bean
public Step step3() {
    return stepBuilder
            .get("step3")
            .<main_Data, main_Data>chunk(1500)
            .reader(this.mainDataReader)
            .processor(this.main_data_processor)
            .writer(this.mainDataWriter).taskExecutor(taskExecutor())
            .build();
}



@Bean
public  TaskExecutor taskExecutor(){
    SimpleAsyncTaskExecutor simpleAsyncTaskExecutor = new SimpleAsyncTaskExecutor();
    simpleAsyncTaskExecutor.setConcurrencyLimit(5);
    return  simpleAsyncTaskExecutor;
}
  

также попробуйте с

   @Bean
public TaskExecutor taskExecutor2() {
   ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
   executor.setCorePoolSize(64);
   executor.setMaxPoolSize(64);
   executor.setQueueCapacity(64);
   executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
   executor.setThreadNamePrefix("MultiThreaded-");
    return executor;
}
  

Я также пробовал с OpenCSV, но получал дубликаты записей с помощью Opencsv.

Есть предложения по производительности Spring batch или другому способу чтения этого файла?