Блог

У меня есть большой фрейм данных с именованными объектами, которые можно сгруппировать по идентификатору события. Каждая группа состоит из одного или нескольких событий. Механизм обнаружения событий часто запускает новую группу до завершения текущей серии, что приводит к большому количеству коротких событий, в которых действительно должно быть меньшее количество более длинных событий.

Я могу определить группы, которые принадлежат друг другу по временному интервалу между событиями — если последнее событие в одной группе происходит в течение N секунд после первого события в следующей группе, то группы должны быть объединены.

В псевдокоде я хочу:

 for all rows in dataframe:
    if row['time_interval'] is less than N
    and if row['ID'] is not equal to next_row['ID']
    then where row['ID'] is the first row's value set it to the second row's value
 

Мои данные выглядят так:

Так как значение time_interval во второй строке равно

Даже если идентификатор изменится между строками 4 и 5, мы не будем обновлять идентификатор, так как значение time_interval равно > N.

Однако все идентификаторы во втором блоке будут изменены на идентификаторы из третьего блока.

Такое ощущение, что я могу обнаружить изменение с помощью этой лямбда-функции:

     if r2.time_interval_seconds < 5:
        if r1['ID'] != r2['ID']:
            return(r2['ID'])

   df['newID'] = df[df.apply(lambda x: row_compare(x, x's iloc 1)
 

Но а) я не могу понять, как передать обе строки (.shift()?) и б) получить доступ к исходному кадру данных для его обновления.

Если бы для данной строки я мог передать исходный кадр данных в лямбда-функцию, то я мог бы присоединиться к двум группам внутри функции.

У меня есть миллионы этих строк, и перебирать их на самом деле не вариант, хотя это было бы прямолинейно.

Способ сделать это без применения, но все же с векторизованным вычислением:

Я предполагаю, что df сортируется по TimeUTC . Вы создаете новый столбец newID , содержащий только значение для начала каждой группы. Группа начинается, когда time_interval_seconds >= N

 df['newID'] = np.where(
                  time_interval_seconds >= N,
                  df['ID'], np.nan
              )
 

Вы инициализируете первое значение столбца :

 df['newID'].iloc[0] = df['ID'].iloc[0]
 

А затем вы пересылаете его, чтобы заполнить колонку

 df['newId'] = df['newId'].ffill()