Блог

Получение следующей ошибки при попытке записать значение ключа словаря, содержащее теги HTML, в текстовый файл.

 Traceback (most recent call last):
  File "/Users/jackboland/PycharmProjects/NLTK_example/JsonToTxt.py", line 11, in <module>
    data = json.load(json_data)
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/json/__init__.py", line 293, in load
    return loads(fp.read(),
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/codecs.py", line 322, in decode
    (result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc0 in position 10: invalid start byte
  

У меня есть набор файлов JSON. Я успешно извлекаю эти данные в словарь Python. Затем оттуда я определяю ключ словаря, значение которого является самым длинным, и извлекаю это значение в текстовый файл. Код работает для всех файлов JSON, самым длинным значением ключа словаря которых является строка. Он выдает указанную выше ошибку для файлов, самым длинным значением ключа словаря которых является содержимое html.

 with open(path   file) as json_data:
    data = json.load(json_data)
    for value in data.values():  # gets the value of each dictionary key
    value = str(value)  # converts the value of each dictionary key to a string enabling counting total characters
    vLength = len(value)  # calculates the length of each value in every dictionary key to enable identifying only the longest of the key values
    if vLength > 100:  # if the length of a value is over 200 characters, it prints that, this insures capturing the opinion text no matter what dictionary key it is in
    f = open(newpath   file[:-5]   ".txt", 'w ')
    f.write(value)
    f.close()
  

Значения ключей словаря, которые являются строками, анализируются из словаря в текстовый файл. В текстовый файл не записываются только значения ключей словаря, содержащие html.

Python пытается преобразовать байтовый массив в строку Юникода. Когда он пытается это сделать, он обнаруживает последовательность байтов, которая не разрешена в строках в кодировке utf-8 (здесь в 0xc0 в позиции 10).

Попробуйте прочитать файл в двоичном формате, чтобы содержимое файла оставалось в виде байтов.

 with open(path   file, 'rb') as json_data:
     //rest of the code
  

Если это не сработает, вручную укажите форматы кодирования.

Пример :

 open(path   file, encoding="utf-8") as json_data
     //rest of the code
  

Вы можете получить различные форматы кодирования здесь.

https://docs.python.org/2.4/lib/standard-encodings.html