Блог

У меня есть столбец в одной из таблиц BigQuery, который выглядит следующим образом.

 {"name": "name1", "last_delivered": {"push_id": "push_id1", "time": "time1"}, "session_id": "session_id1", "source": "SDK", "properties": {"UserId": "u1"}}
  

Есть ли какой-либо способ получить подобный вывод в GBQ?? (в основном разбить весь столбец на разные столбцы)

 name    last_delivered.push_id   last_delivered.time   session_id   source   properties.UserId

name1       push_id1                     time1         session_id1   SDK          uid1
  

Допустим

a = {«name»: «name1», «last_delivered»: {«push_id»: «push_id1», «time»: «time1»}, «session_id»: «session_id1», «source»: «SDK», «properties»: {«userId»: «u1»}}

Я пытался получить желаемый результат в Pandas Python, используя json_normalize (a), но каждый раз, когда я пытаюсь, получаю следующую ошибку

У кого-нибудь есть идеи, как я могу получить желаемый результат. Я что-то упускаю??

Любая помощь была бы с благодарностью принята!!

Приведенный ниже пример для стандартного SQL BigQuery

 #standardSQL
WITH `project.dataset.table` AS (
  SELECT '{"name": "name1", "last_delivered": {"push_id": "push_id1", "time": "time1"}, "session_id": "session_id1", "source": "SDK", "properties": {"UserId": "u1"}}' col
)
SELECT 
  JSON_EXTRACT_SCALAR(col, '$.name') name,
  STRUCT(
    JSON_EXTRACT_SCALAR(col, '$.last_delivered.push_id') AS push_id,
    JSON_EXTRACT_SCALAR(col, '$.last_delivered.time') AS time
  ) last_delivered,
  JSON_EXTRACT_SCALAR(col, '$.session_id') session_id,
  JSON_EXTRACT_SCALAR(col, '$.source') source,
  STRUCT(
    JSON_EXTRACT_SCALAR(col, '$.properties.UserId') AS UserId
  ) properties
FROM `project.dataset.table`   
  

и выдает результат, соответствующий ожидаемому / запрошенному

 Row name    last_delivered.push_id  last_delivered.time session_id  source  properties.UserId    
1   name1   push_id1                time1               session_id1 SDK     u1     
  

Я предполагаю, почему это не работает, потому что ваши данные json на самом деле являются строкой:

 from pandas.io.json import json_normalize 

a = '''{"name": "name1", "last_delivered": {"push_id": "push_id1", "time": "time1"}, "session_id": "session_id1", "source": "SDK", "properties": {"UserId": "u1"}}'''  

df = json_normalize(a)
  

Вывод:

 AttributeError: 'str' object has no attribute 'values'    
  

Против:

 from pandas.io.json import json_normalize 

a = {"name": "name1", "last_delivered": {"push_id": "push_id1", "time": "time1"}, "session_id": "session_id1", "source": "SDK", "properties": {"UserId": "u1"}}  

df = json_normalize(a)
  

Вывод:

  print(df.to_string())
  last_delivered.push_id last_delivered.time   name properties.UserId   session_id source
0               push_id1               time1  name1                u1  session_id1    SDK
  

Если это так, вы можете использовать json.loads() прямо перед normalize:

 import json
from pandas.io.json import json_normalize

a = '''{"name": "name1", "last_delivered": {"push_id": "push_id1", "time": "time1"}, "session_id": "session_id1", "source": "SDK", "properties": {"UserId": "u1"}}'''  

data = json.loads(a)
df = json_normalize(data)