Блог

Я храню исторические торговые данные с нескольких криптобирж. В каждом обмене перечислены разные символы, такие как и т.д. "BTC-28MAR19_FUTURES", "BTC-31MAR19_FUTURES" которыми можно торговать, в общей сложности до 500 различных символов. Для каждого из этих символов существуют торговые данные, что-то вроде "timestamp", "price", "volume" , и т.д. На символ приходится несколько миллионов сделок, которые мне нужно сохранить.

Раньше я создавал одну коллекцию для каждого обмена и сохранял каждый символ этих обменов в этой единой коллекции, т.е.:

коллекция name = bitmex_futures , которая содержит все сделки для всех существующих продуктов на этой бирже. Записи выглядят так:

 {"symbol" : "BTC-28MAR19", "price" : 4500, "trade_id" : 12345, etc.}
{"symbol" : "BTC-28MAR19", "price" : 4300, "trade_id" : 12346, etc.}
{"symbol" : "BTC-31MAR19", "price" : 4230, "trade_id" : 12347, etc.}
  

Однако это очень медленно, поскольку записей очень много, если я хочу запросить данные.

Имеет ли смысл создавать единую коллекцию для каждого символа? Если в итоге у меня будет 500 коллекций с миллионами торговых данных в каждой из них, будет ли это по-прежнему быстро (или даже быстрее)?

Если вам не нужно запрашивать торговые символы, одна коллекция для каждого торгового символа может иметь смысл. Если ваш trade_id уникальный, я бы указал это как _id , чтобы вы могли использовать автоматический уникальный индекс, созданный для _id .

Каковы шаблоны запросов? Может подойти создание составного индекса для полей, к которым вы хотите запросить вместе.

В общем, вы должны добавлять индексы к полям, которые вы запрашиваете. Вы можете использовать explain() план, чтобы гарантировать, что ваши запросы выполняются эффективно.

Если вы новичок в MongoDB, этот бесплатный онлайн-курс — хорошее место для начала.