#python #pandas #dataframe
Вопрос:
У меня есть несколько (15) больших фреймов данных, где каждый фрейм данных имеет два столбца и индексируется по дате. Все фреймы данных имеют примерно одинаковую длину и охватывают один и тот же диапазон дат. Я хотел бы объединить их по горизонтали (чтобы новые строки не добавлялись). Я пытался df_final = pd.concat(frames, axis = 1) , но это было крайне неэффективно с точки зрения вычислений и не загружалось. Как еще я мог бы это сделать? Скриншот одного из составных фреймов данных прилагается
Комментарии:
1. они довольно большие. возможно, преобразовать тикер в категории, изменить dtype atr на float32 и повторить попытку. pd.concat-это операция, требующая больших затрат памяти. Я бы сказал преобразовать в диктант, объединить диктанты и преобразовать в фрейм данных, если все остальное не удастся. есть ли конечный пункт назначения для кадров?
Ответ №1:
Если данные выровнены, вы можете попробовать использовать этот ignore_index=True параметр. Это позволит пропустить этап выравнивания данных. Если данные не выровнены, я сомневаюсь, что вы сможете значительно увеличить скорость…