Блог

Я ищу наиболее эффективный способ (по скорости) преобразования огромного количества объектов (1 млн экземпляров) в другой тип объектов. К сожалению, у меня нет выбора того, что я получаю в качестве входных данных (объект «миллион»).

До сих пор я пробовал, each_slice но это не показывает большого улучшения, когда дело доходит до скорости!

Это выглядит так:

 expected_objects_of_type_2 = []
huge_array.each_slice(3000) do |batch|
  batch.each do |object_type_1|
    expected_objects_of_type_2 << NewType2.new(object_type_1)
  end  
end
 

Есть идеи?

Спасибо!

Я провел быстрый тест с несколькими различными методами зацикливания массива и измерил время:

 huge_array = Array.new(10000000){rand(1..1000)}
a = Time.now
string_array = huge_array.map{|x| x.to_s}
b = Time.now
puts b-a
 

То же самое с:

 sa = []
huge_array.each do |x|
    sa << x.to_s
end
 

и

 sa = []
huge_array.each_slice(3000) do |batch|
  batch.each do |x|
    sa << x.to_s
  end  
end 
 

Понятия не имею, что вы конвертируете, поэтому я сделал немного простого int в строку.

Тайминги

 Map: 1.7
Each: 2.3
Slice: 3.2
 

Так что, очевидно, ваши накладные расходы на срез замедляют процесс. Карта кажется самой быстрой (которая внутренне является просто циклом for, но с нединамическим массивом длины в качестве вывода). Это << , кажется, немного замедляет процесс.

Поэтому, если каждый объект нуждается в индивидуальном преобразовании, вы застряли с O(n) сложностью и не можете сильно ускорить процесс. Просто заплатил сверху.

В зависимости от ваших данных, сортировка и использование эффектов кэширования могут помочь или избежать дублирования, если у вас много идентичных данных, но у нас нет возможности узнать, не знаем ли мы ваши фактические конверсии.

Я бы рассматривал каждый срез в отдельной теме:

 huge_array.each_slice(3000) do |batch|
  Thread.new do 
    batch.each do |object_type_1|
      expected_objects_of_type_2 << NewType2.new(object_type_1)
    end  
  end
end
 

Затем вам нужно дождаться завершения использования потоков join . Они должны быть собраны в массив и объединены.