Блог

Мне нужно простое хранилище значений ключей с хорошим сжатием на диске, и мне не очень повезло с поиском в Google. Кажется, не так много людей смотрят на размер диска при оценке хранилищ.

Мне нужно иметь возможность помещать / получать постоянные двоичные объекты размером от 1 до 100 кб с короткими строковыми ключами. Каждый ключ должен храниться как минимум на 2 узлах для избыточности. Доступность важнее согласованности. Мне не нужны транзакции, SQL-запросы или что-то в этом роде. Пространство на диске важно для масштабирования моей системы.

Есть предложения?

В итоге я несколько сжал свои объекты, используя буферы протокола Google, и сохранил их в Apache Ignite с включенным сжатием zstd. Похоже, это работает хорошо. Размер на диске составляет около 80% от исходного csv.gz исходные данные.