Блог

Я немного новичок, когда дело доходит до больших наборов данных, и надеялся, что кто-нибудь сможет указать мне правильное направление.

У меня есть два больших фрейма данных, которые мне нужно объединить на основе datetime.

Фрейм данных 1:

1. 250 миллионов строк данных
2. Индекс Datetime
3. Столбцы, содержащие значения датчиков движения

Фрейм данных 2:

1. 50 миллионов строк данных
2. Индекс Datetime
3. Столбцы, содержащие ориентацию на восток и север

Я хочу добавить ориентацию на восток и север из dataframe2 в dataframe 1 на основе ближайшего datetime. Я пробовал несколько разных методов (например df.index.get_loc , df.interpolate ), но время обработки велико, и память очень быстро становится нестабильной. Есть ли способ обработать это без итерации по фреймам данных? Любая помощь была бы отличной.

pd.merge_asof поможет сопоставить на основе ближайшего времени.