Блог

Возможно ли вычислить CRC «на лету» (в потоках)?

Например, у меня есть данные объемом 1 гигабайт, и я хочу уменьшить вероятность необнаруженных ошибок. Я хочу реализовать что-то (CRC или хэш) по всему файлу (я уже реализовал CRCS для каждого фрагмента, который содержит некоторые пакеты),

Когда мы помещаем CRC поверх всего файла, возможно ли начать вычислять CRC, как только у нас будет первый пакет, или нам нужно дождаться получения всего файла, а затем начать вычислять CRC?

Да. CRC и каждый хэш, о котором я знаю, являются потоковыми. Они имеют небольшое конечное состояние, которое обновляется по мере прохождения через них данных. Для CRC состояние является самим CRC.

CRC в zlib принимает такую форму:

 unsigned long crc32(unsigned long crc, const unsigned char *buf, unsigned len);
  

Когда buf есть NULL , возвращается начальный CRC. Поэтому он используется следующим образом:

 unsigned long crc = crc32(0, NULL, 0);    // initial CRC
for (...) {                               // some sort of loop
    ...                                   // generating a chunk of data
    crc = crc32(crc, buf, len);           // update the CRC with the data
    ...                                   // this all gets repeated many times
}
...                                       // loop is done, crc has the CRC