Использование np.memmap для чтения пар данных

#python #numpy #file-io

Вопрос:

У меня очень большой файл данных в байтах, и когда я его использую np.memmap , у меня не хватит ресурсов для чтения файла, и я также не могу его использовать fp.read . Решение, о котором я подумал, заключается в потоковой передаче файла, используя следующий код,

 with open(filename, mode='rb') as fp:
    while True:
        chunk = fp.read(1024)
        int_chunk = numpy.fromfile(chunk, dtype=numpy.int16)
        
        if not chunk:
            break
 

Однако, когда я это делаю, я получаю следующую ошибку,

 UnicodeDecodeError: 'utf-8' codec can't decode btye 0xff in position 68: invalid start byte
 

Я не уверен, как я могу одновременно использовать steam и конвертировать данные. Любые идеи или обходные пути приветствуются!