Объединение серверных файлов pickle, расположенных в разных папках в записной книжке jupyterlab

#python #pickle #concat #glob #jupyter-lab

#python #pickle #объединение #глобус #jupyter-lab

Вопрос:

У меня есть следующий путь в jupyterlab:

 
Reut/Main_folder/results

  

внутри результатов есть много папок, содержащих много файлов pickles,
например, в следующем пути:

 Reut/Main_folder/results/chicago
  

есть эти pickles:
12_05_2020_chi
17_05_2020_chi
23_05_2019_chi

затем есть другая папка с этим путем:

 Reut/Main_folder/results/Berlin
  

с помощью следующих файлов pickle:
07_07_2020_ber
01_03_2020_ber
25_02_2019_ber
04_08_2020_ber

Я хочу объединить все рассолы из всех папок вместе, чтобы получить один большой рассол.
Важно сказать, что:

  1. У меня более 2 папок с результатами
  2. Количество рассолов в каждой папке результатов различно.

Я создал записную книжку jupyter в пути:

 Reut/Main_folder/results
  

и попытался:

 
path = r'results'
os.chdir(path)

all_filenames = [i for i in glob.glob('*.{}'.format('pkl'))]

combined_pkl = pd.concat([pd.read_pickle(f) for f in all_filenames ])
  

но затем я получаю сообщение об ошибке:

Ошибка FileNotFoundError: [Ошибка 2] Нет такого файла или каталога: ‘результаты’

Я также пробовал то же самое без имени пути, но это также не работает.

Я видел похожие сообщения в прошлом, но у них были файлы в одной папке, и я считаю, что моя проблема в том, что я не понимаю логику расположения пути по сравнению с местоположением ноутбука, возможно, я ошибаюсь. Я не нахожу способа сообщить jupyter, чтобы он открывал каждую папку результатов (например, Берлин, Чикаго), читал файлы pickle и объединял их.

Моя конечная цель: объединить рассолы из всех файлов в папке «результаты» в одну большую таблицу.