Блог

У меня есть два списка воспроизведения в памяти и потребители, в одном из которых 15 миллионов объектов, а в другом около 3 миллионов.

ниже приведены несколько запросов, которые я запускаю..

 consumersn=consumers.AsParallel()
                    .Where(w => plays.Any(x => x.consumerid == w.consumerid))
                    .ToList();


List<string> consumerids = plays.AsParallel()
                                .Where(w => w.playyear == group_period.year 
                                         amp;amp; w.playmonth == group_period.month 
                                         amp;amp; w.sixteentile == group_period.group)
                                .Select(c => c.consumerid)
                                .ToList();


int groupcount = plays.AsParallel()
                      .Where(w => w.playyear == period.playyear 
                               amp;amp; w.playmonth == period.playmonth 
                               amp;amp; w.sixteentile == group 
                               amp;amp; consumerids.Any(x => x == w.consumerid))
                      .Count();
  

Несмотря на это, я использую 16-ядерный компьютер с 32 ГБ оперативной памяти. выполнение первого запроса заняло около 20 часов..

Я делаю что-то не так..

Вся помощь искренне приветствуется.

Спасибо

Первый запрос LINQ очень неэффективен, распараллеливание может вам только помочь.

Объяснение: Когда вы пишете consumers.Where(w => plays.Any(x => x.consumerid == w.consumerid)) , это означает, что для каждого объекта в consumer вы потенциально будете перебирать весь plays список, чтобы найти затронутых потребителей. Таким образом, это максимум 3 миллиона пользователей, умноженных на 15 миллионов игр = 45 триллионов операций. Даже для 16 ядер это составляет около 2,8 триллиона операций на ядро.

Итак, первым шагом здесь было бы сгруппировать все воспроизведения по их идентификаторам потребителей и кэшировать результат в соответствующей структуре данных:

 var playsByConsumerIds = plays.ToLookup(x => x.consumerid, StringComparer.Ordinal);
  

Затем ваш первый запрос становится:

 consumersn = consumers.Where(w => playsByConsumerIds.Contains(w.consumerid)).ToList();
  

Этот запрос должен быть намного быстрее, даже без какого-либо распараллеливания.

Я не могу исправить следующие запросы, потому что я не совсем понимаю, что именно вы делаете group_period , но я бы предложил использовать GroupBy или ToLookup для создания всех групп за один проход.

Выполнение первого запроса заняло 20 часов, потому plays.Any(x => x.consumerid == w.consumerid) что нужно пройти весь список из 15 000 000 воспроизведений каждый раз consumerid , когда его там нет.

Вы можете ускорить это, создав хэш-набор всех идентификаторов потребителей plays , например:

 var consumerIdsInPlays = new HashSet<string>(plays.Select(p => p.consumerid));
  

Теперь ваш первый запрос можно переписать для поиска O (1):

 consumersn=consumers
    .AsParallel()
    .Where(w => consumerIdsInPlays.Contains(w.consumerid))
    .ToList();