#json #pandas #merge #glob #subdirectory
#json #панды #поглощать #глобус #подкаталог
Вопрос:
Я хочу объединить данные из нескольких каталогов в одну папку. У меня есть «application_data.txt» файл, записанный в формате json в нескольких каталогах в одном родительском каталоге. Я хочу объединить данные из всех подкаталогов и создать фрейм данных для дальнейшего анализа.
код:
from pathlib import Path # Find all the folders root_dir = Path('/content/gdrive/MyDrive/fd249093-60d2-4d4f-99d0-3e98954f7711') folders = [fld for fld in root_dir.iterdir() if fld.is_dir()] # Find all the file names all_filenames = [] for fld in folders: for f in fld.glob('*application_data.txt'): all_filenames.append(f.name) for f in list(set(all_filenames)): app_data = pd.DataFrame({}) for fld in folders: if (fld / f).is_file(): with open(fld /f, 'r') as fp: application_data = json.load(fp) temp_df = pd.DataFrame(application_data) app_data = app_data.append(temp_df) Комментарии:
1. Что именно вы здесь просите?
2. Я хочу знать, правильный ли это способ сделать это или нет. и есть ли какой-нибудь лучший способ? Получение сообщения об ошибке : Ожидаемое значение: строка 1, столбец 1 (символ 0).
3. Эй, если вы отредактируете вопрос и прикрепите свою текущую структуру каталогов, формат json, который у вас есть, и желаемый вывод, это поможет нам помочь вам.
4. Эй, я решил проблему, возникла проблема с данными. Спасибо за ваш ответ