#python #numpy #file-io
Вопрос:
У меня очень большой файл данных в байтах, и когда я его использую np.memmap
, у меня не хватит ресурсов для чтения файла, и я также не могу его использовать fp.read
. Решение, о котором я подумал, заключается в потоковой передаче файла, используя следующий код,
with open(filename, mode='rb') as fp:
while True:
chunk = fp.read(1024)
int_chunk = numpy.fromfile(chunk, dtype=numpy.int16)
if not chunk:
break
Однако, когда я это делаю, я получаю следующую ошибку,
UnicodeDecodeError: 'utf-8' codec can't decode btye 0xff in position 68: invalid start byte
Я не уверен, как я могу одновременно использовать steam и конвертировать данные. Любые идеи или обходные пути приветствуются!