Блог

Я пытаюсь загрузить файл json, используя следующий код:

 with open('tweets_036.jsonl') as json_file:
    data = json.load(json_file)
  

но я получаю следующую ошибку msg:

 JSONDecodeError: Extra data: line 24289 column 2 (char 1088180)
  

когда я смотрю на файл / строку 24289, я вижу, что [] вызывает проблему:

         "favorited": false
    }
][
    {
        "retweeted": false,
  

По сравнению с предыдущими строками, это должно быть :

         "favorited": false
    },
    {
        "retweeted": false,
  

К вашему сведению, данные относятся к твитам, ‘retweeted’ обычно является первым элементом нового твита, в то время как ‘favorited’ является последним.

Заранее благодарю вас, если вы можете, пожалуйста, помочь.

Используя str.replace()

tweets_036.jsonl:

 [
    {
      "favorited": false
    }
][
    {
      "retweeted": false
    }
]
  

Следовательно:

 import json

with open('tweets_036.jsonl', 'r') as file:
    content = file.read()
    clean = content.replace('][', ',')  # cleanup here
    json_data = json.loads(clean)

print(json_data)
  

ВЫВОД:

 [{'favorited': False}, {'retweeted': False}]
  

Вы пытаетесь использовать облако: re.sub python

Он использует этот формат:

 result = re.sub(pattern, replacement, input)
  

Итак, в вашем случае это было бы что-то вроде этого:

 clean_data = re.sub('][', '', data)
  

Была такая же проблема некоторое время назад. По какой-то причине Twitter возвращает несколько структур json в списке, но не разделяет списки запятой, поэтому взял каждый элемент json между [ ] и добавил их в реальный список. Таким образом, вы получите список структурированных данных в формате json. Вот решение, которое я использовал некоторое время назад:

 import json

filename='C:/tweets_043.json'


with open(filename) as json_file:  
    data_str = json_file.read()
    data_str = data_str.split('[',1)[-1]
    data_str = data_str.rsplit(']',1)[0]
    data_str = data_str.split('][')

clean_data = []
need_cleaning = False
for i, each in enumerate(data_str):
    if need_cleaning == True:
        hold_string = hold_string   ']['   each
        if each.strip()[-1] != '}':
            continue
        else:
            clean_data.append(hold_string.strip())
            need_cleaning = False
            continue

    if each.strip()[-1] != '}':
        hold_string = data_str[i]
        need_cleaning = True
        continue

    else:
        clean_data.append(each.strip())
        need_cleaning = False





data = []
error = []
for jsonStr in clean_data:

    jsonStr = '['   jsonStr   ']'
    try:
        temp_data = json.loads(jsonStr.strip())
        for each in temp_data:
            data.append(each)
    except:
        print ('error')
        error.append(jsonStr)
  

Анализирует все, кроме одного (где вы также указали в комментариях). В чем проблема:

                         "large": {
                            [{
                                    "is_quote_status": false,
                                    "filter_level": "low",
                                    "in_reply_to_screen_name": "Huawei",
                                    "display_text_range": [
                                        8,
                                        53
                                    ],
  

Я нигде не вижу, где первая квадратная скобка закрыта или, по крайней мере, где она должна быть закрыта.