Подходит ли MySQL для хранения потока данных, поступающего с обновлением 250 мс, имеющего 30 байт информации за обновление и обслуживаемого в Интернете?

#mysql #database #data-stream

#mysql #База данных #поток данных

Вопрос:

В названии говорится о большей части этого, мне интересно, подходит ли MySQL (а если нет, что еще лучше) для хранения этих данных?

Скорее всего, это будет от 3 до 6 чисел с плавающей запятой, доставляемых каждые четверть секунды. (Где-то между 1-3 ГБ в год)

В то же время эти данные должны быть доступны из MySQL в режиме реального времени (или близко к нему), чтобы они не могли пропустить удар при выполнении некоторых (потенциально больших) запросов к базе данных.

Может ли MySQL справиться с этим? Я понятия не имею, как масштабируется база данных такого типа или что представляет собой «много» информации за один раз для этих баз данных.

Если бы база данных получала ту же информацию, но объединялась в одно большое обновление каждые 5-10 минут, изменило бы это ответ?

Комментарии:

1. Для перспективы, одно единственное приложение здесь (по общему признанию, основное) генерирует более 13 ГБ новых данных в год; и это не считая (необходимых, некоторых ненужных) показателей. Конечно, большая часть этого находится в одной таблице (проблемы с дизайном)… Конечно, это на iSeries с DB2.

Ответ №1:

Это зависит от таблицы и оборудования. У приличного сервера mysql не было бы проблем с этим. Особенно, если он оснащен SSD-накопителем.

Один большой запрос, вставляющий большой объем данных, был бы более эффективным, так как это было бы одно обновление индекса и так далее. Где-то между обновлением в 0,25 секунды и 5-минутным объемом будет приятное место. Тестирование показало бы это.

Если вы выполняете репликацию, имейте в виду, что подчиненный сервер является однопоточным, и эти обновления в конечном итоге займут больше времени. Вы также хотели бы использовать innodb в отличие от myisam, чтобы избежать блокировок на уровне таблицы во время записи.

Комментарии:

1. Спасибо, я не знаю, что означает эта последняя часть, но я разберусь с этим, прежде чем попробовать что-либо из этого.

2. Я думал об этом. Вы также можете использовать myisam, если это в основном вставки…