Блог

Проблема заключается в большом количестве (около 500 миллионов в день) нереляционных сообщений относительно небольшого размера (ок. 1 КБ). Сообщения записываются один раз и больше никогда не изменяются. Сообщения имеют различную структуру, хотя существуют шаблоны, в которые сообщение должно вписываться. Затем эти данные необходимо использовать для выполнения поиска по ним. Поиск может быть выполнен по любым полям сообщения, единственным всегда присутствующим полем является дата, таким образом, поиск будет выполнен за определенный день.

Подход, который я предложил до сих пор, заключается в использовании MongoDB. Каждый день я создаю несколько коллекций (около 2000) и в течение дня распределяю сообщения по этим коллекциям в соответствии с шаблоном. Я нахожу шаблоны важными, потому что при индексации количество индексов ограничено 64.

Эта стратегия приводит к 500G of data 150G of indexes = 650G в день. Конечно, вопрос здесь в том, как распределять эти данные? Очевидное решение — использовать сегментирование Mongo и распределить коллекции по сегментам. Однако я не нашел ни одного сценария, близкого к моей проблеме, описанной в руководствах mongo. Более того, я даже не уверен, смогу ли я динамически (не вручную) добавлять новые коллекции каждый день в shards. Есть какие-либо знания / предложения от опытных пользователей? Должен ли я изменить свой дизайн?