Блог

Главная - Вопросы по программированию - Как мне проанализировать этот вложенный объект JSON?

Как мне проанализировать этот вложенный объект JSON?

#python #json #pandas #parsing

#python #json #pandas #Синтаксический анализ

Вопрос:

У меня есть набор данных, который находится в формате данных и выглядит следующим образом:

 [{'session_id': ['X061RFWB06K9V'],
  'unix_timestamp': [1442503708],
  'cities': ['New York NY, Newark NJ'],
  'user': [[{'user_id': 2024,
     'joining_date': '2015-03-22',
     'country': 'UK'}]]},
 {'session_id': ['5AZ2X2A9BHH5U'],
  'unix_timestamp': [1441353991],
  'cities': ['New York NY, Jersey City NJ, Philadelphia PA'],
  'user': [[{'user_id': 2853,
     'joining_date': '2015-03-28',
     'country': 'DE'}]]},
 {'session_id': ['SHTB4IYAX4PX6'],
  'unix_timestamp': [1440843490],
  'cities': ['San Antonio TX'],
  'user': [[{'user_id': 10958,
     'joining_date': '2015-03-06',
     'country': 'UK'}]]}

Я использую pandas и обрабатываю его, и когда я использую read_json, я получаю следующее:

           cities                  session_id    unix_timestamp                  user
0   [New York NY, Newark NJ]    [X061RFWB06K9V] [1442503708]    [[{'user_id': 2024, 'joining_date': '2015-03-2...
1   [New York NY, Jersey City NJ, Philadelphia PA]  [5AZ2X2A9BHH5U] [1441353991]    [[{'user_id': 2853, 'joining_date': '2015-03-2...
2   [San Antonio TX]    [SHTB4IYAX4PX6] [1440843490]    [[{'user_id': 10958, 'joining_date': '2015-03-...

Как мне обработать эти данные, чтобы они были в лучшем формате?
Вот определение данных:

Столбцы:

  • session_id : идентификатор сеанса.
  • unix_timestamp : временная метка unix времени начала сеанса
  • cities : уникальные города, которые были найдены в течение одного сеанса
  • user :
    • user_id : идентификатор пользователя
    • joining_date : когда пользователь создал учетную запись
    • country : где находится пользователь

Я пытался использовать json_normalize, но продолжаю получать ошибку:

Ошибка атрибута: объект ‘int’ не имеет атрибутов ‘values’

а также различные типы ошибок. Пожалуйста, помогите

Комментарии:

1. Я немного смущен. Лучше, чем что? Проблема в том, что вам нужны строки и столбцы, когда входные данные имеют иерархическую / древовидную форму?

2. я впервые работаю с JSON. Я привык работать с аккуратно сформированными фреймами данных. Как я могу использовать эти данные и выполнить анализ. Как мне проанализировать столбец «user» и проанализировать его?

3. Я действительно не понимаю, что вы подразумеваете под деревом и прямоугольной формой. Не могли бы вы указать мне на некоторые ресурсы по этому вопросу? Я буду благодарен

4. Общий ответ заключается в том, что это зависит от того, для какого использования вам нужно его использовать. Вам нужно определить сопоставление между данными в виде дерева и выводом прямоугольной формы (угадайте, учитывая ваш комментарий к фреймам данных аккуратной формы). В этом случае иерархия имеет только одну глубину, поэтому вы, вероятно, могли бы сделать что-то простое, например, написать короткую функцию, чтобы поместить атрибуты пользователя на тот же уровень, что и остальные. Тогда вы должны получить более аккуратный фрейм данных / прямоугольник.

5. а, окк, понял. Спасибо

Ответ №1:

Вы могли бы использовать функцию, которая полностью сглаживает его, а затем реконструирует ваш фрейм данных:

 import re
import pandas as pd
import numpy as np

jsonData = [{'session_id': ['X061RFWB06K9V'],
  'unix_timestamp': [1442503708],
  'cities': ['New York NY, Newark NJ'],
  'user': [[{'user_id': 2024,
     'joining_date': '2015-03-22',
     'country': 'UK'}]]},
 {'session_id': ['5AZ2X2A9BHH5U'],
  'unix_timestamp': [1441353991],
  'cities': ['New York NY, Jersey City NJ, Philadelphia PA'],
  'user': [[{'user_id': 2853,
     'joining_date': '2015-03-28',
     'country': 'DE'}]]},
 {'session_id': ['SHTB4IYAX4PX6'],
  'unix_timestamp': [1440843490],
  'cities': ['San Antonio TX'],
  'user': [[{'user_id': 10958,
     'joining_date': '2015-03-06',
     'country': 'UK'}]]} ]



def flatten_json(y):
    out = {}
    def flatten(x, name=''):
        if type(x) is dict:
            for a in x:
                flatten(x[a], name   a   '_')
        elif type(x) is list:
            i = 0
            for a in x:
                flatten(a, name   str(i)   '_')
                i  = 1
        else:
            out[name[:-1]] = x
    flatten(y)
    return out

flat = flatten_json(jsonData)


results = pd.DataFrame()
columns_list = list(flat.keys())
for item in columns_list:
    row_idx = re.findall(r'(d )_', item )[0]
    column = item.replace(row_idx '_', '',1)
    column = column.replace('_0', '')
    row_idx = int(row_idx)
    value = flat[item]

    results.loc[row_idx, column] = value

# If you don't want to expand/split the `cities` column, remove line below
results = results.join(results['cities'].str.split(',', expand=True).add_prefix('cities_').fillna(np.nan))

print (results)

Вывод:

 print (results.to_string())
      session_id  unix_timestamp                                        cities  user_user_id user_joining_date user_country        cities_0         cities_1          cities_2
0  X061RFWB06K9V    1.442504e 09                        New York NY, Newark NJ        2024.0        2015-03-22           UK     New York NY        Newark NJ               NaN
1  5AZ2X2A9BHH5U    1.441354e 09  New York NY, Jersey City NJ, Philadelphia PA        2853.0        2015-03-28           DE     New York NY   Jersey City NJ   Philadelphia PA
2  SHTB4IYAX4PX6    1.440843e 09                                San Antonio TX       10958.0        2015-03-06           UK  San Antonio TX              NaN               NaN