Блог

Я читаю большой (500 МБ) двоичный файл на Python и разбираю его побайтно в структуру данных Python. Этот файл представляет собой разреженную сетку данных. В зависимости от формата иногда мне нужно прочитать один байт, два байта или четыре байта за раз. По бюрократическим причинам я обязан делать это на Python, а не на C.

Я ищу эффективные во время выполнения механизмы для выполнения этого на Python. Ниже приведен упрощенный пример того, что я делаю сейчас:

 with open(filename,'rb') as inFile:
 nCoords = struct.unpack('!i',inFile.read(4))[0]
 for i in range(nCoords):
    coord = (struct.unpack_from('!h',inFile.read(2))[0],struct.unpack_from('!h',inFile.read(2))[0]) # x, y coord
    nCrops = struct.unpack_from('!B',inFile.read(1))[0] #n crops
    for j in range(nCrops):
        cropId = struct.unpack_from('!B',inFile.read(1))[0] #cropId
  

Мне интересно, будет ли загрузка файла с диска в строку и синтаксический анализ строки более эффективными, чем чтение нескольких байтов за раз. Что-то вроде:

 with open(filename,'rb') as inFile:
   wholeFile = inFile.read()
  

Но я сомневаюсь, что использование объединения массивов в wholeFile будет более эффективным, чем то, что я уже делаю.

Существует ли в Python эффективный во время выполнения механизм для чтения файла в строку, а затем выполнения итерации по нему по нескольку байтов за раз? (Я проверил StringIO , и это позволяет читать только строку за раз, а не то, что я хочу в данном случае, поскольку весь файл состоит из одной строки).

mmap