Извлечение вложенных элементов словаря в фрейм данных Pandas

#python #pandas #list #dictionary #nested

Вопрос:

У меня есть список словарей l1, который выглядит так:

 [{'A1': 'string',
  'B1': {'ba': 'string',
        'bb': 'string',
        'bc': 'string',
        'bd': 'string',
        'be': 'string'},
  'C1': {'ca': 'string',
        'cb': [[[123,123],[123,123]]]},
  'D1': 'string'},
  ...]
 

В некоторых словарях (элементах l1) могут отсутствовать некоторые ключи, например, во втором элементе списка l1 может отсутствовать пара «bc»:»строка» ключ/значение.

Мне нужно извлечь следующие верхние и вложенные элементы ключа/значения в фрейм данных, который будет выглядеть следующим образом:

 bc      bd      cb                        D1
string  string  [[[123,123],[123,123]]]   string
N/A     string  [[[123,123],[123,123]]]   string
...
string  N/A     [[[123,123],[123,123]]]   string
 

Код, который у меня есть, приведен ниже:

 temp_df = pd.DataFrame(columns = ['bc','bd','cb','D1']

for i in l1:
    temp_df = temp_df.append({'bc': i.get(['B1']['bc'],'N/A'),
                              'bd': i.get(['B1']['bd'],'N/A'),
                              'cb': i.get(['C1']['cb'],'N/A'),
                              'D1': i.get(['D1'],'N/A')}, 
                               ignore_index=True)
 

Ошибка, которую я получаю, находится ниже:

  ---------------------------------------------------------------------------
 TypeError                                 Traceback (most recent call last)
 <ipython-input-113-543c6addad42> in <module>
       1 for i in l1:
 ----> 2     temp_df = temp_df.append({'bc': i.get(['B1']['bc'],'N/A'),
       3                                 'bd': i.get(['B1']['bd'],'N/A'),
       4                                 'C1': i.get(['C1']['cb'],'N/A'),
       5                                 'D1': i.get(['D1'],'N/A')}, 

  TypeError: list indices must be integers or slices, not str
 

Что я делаю не так?

Ответ №1:

Вместо i.get(['B1']['bc'],'N/A') того , что не является допустимым синтаксисом python, используется i.get('B1', {}).get('bc', 'N/A') для получения вложенных ключей. Также не добавляйте динамически в фрейм данных pandas, это медленно. Сначала добавьте в список, а затем преобразуйте список в фрейм данных.

 lst = []
for i in l1:
    lst.append({
        'bc': i.get('B1', {}).get('bc', 'N/A'),
        'bd': i.get('B1', {}).get('bd', 'N/A'),
        'cb': i.get('C1', {}).get('cb', 'N/A'),
        'D1': i.get('D1', 'N/A')
    })

pd.DataFrame(lst)

       bc      bd                          cb      D1
0  string  string  [[[123, 123], [123, 123]]]  string
 

Ответ №2:

Вы можете обратиться к ответу @Psidom за свою ошибку, однако для достижения того, что вы пытаетесь сделать, вы можете использовать альтернативный json_normalize вариант .

 pd.json_normalize(l1).rename(columns={
    'B1.bc': 'bc',
    'B1.bd': 'bd',
    'C1.cb': 'cb'
}).fillna('N/A')[['bc', 'bd', 'cb', 'D1']]