Блог

Я провел небольшой тестовый тест, чтобы сравнить Couchbase (работающий в Win) с Redis и MySQL (РЕДАКТИРОВАТЬ: добавлен Aerospike для тестирования)

Мы вставляем 100 000 «документов» в формате JSON в три базы данных / хранилища:

• Redis (просто вставить, больше ничего)
• Couchbase (эфемерные сегменты в памяти, индекс JSON в JobID)
• MySQL (простая таблица; Идентификатор (int), данные (MediumText), индекс по идентификатору)
• Aerospike (хранилище в памяти)

Файл JSON состоит из 67 строк, около 1800 байт.

ВСТАВИТЬ:

• База данных: 60-100 секунд (РЕДАКТИРОВАТЬ: кажется, немного отличается!)
• MySQL: 30 секунд
• Redis: 8 секунд
• Aerospike: 71 секунда

ЧИТАЙТЕ: мы читаем 1000 раз, и мы делаем это 10 раз и смотрим на средние значения.

• Couchbase: 600-700 мс для 1000 операций получения (с использованием операций с ключевыми значениями, а не API запросов. При использовании API запросов это занимает около 1500 мс)
• MySQL: 90-100 мс для 1000 GETs
• Redis: 50-60 мс для 1000 получений
• Аэроспайк: 750 мс за 1000 попаданий

Вывод: Couchbase кажется самым медленным (кажется, время ВСТАВКИ сильно меняется), Aerospike также очень медленный. Оба они используют хранилище в памяти (Couchbase => Ephemeral bucket, Aerospike => память хранилища).

Вопрос: Почему запись и чтение в памяти на Couchbase такие медленные, даже медленнее, чем при использовании обычного MySQL (на SSD)?

код

Примечание: использование задачи.WhenAll или ожидание каждого вызова не имеет значения.

ВСТАВИТЬ

Couchbase:

 IBucket bucket = await cluster.BucketAsync("halo"); // <-- ephemeral 
IScope scope = bucket.Scope("myScope");
var collection = scope.Collection("myCollection");

// EDIT: Added this to avoid measuring lazy loading:
JObject t = JObject.FromObject(_baseJsonObject);
t["JobId"] = 0;
t["CustomerName"] = $"{firstnames[rand.Next(0, firstnames.Count - 1)]} {lastnames[rand.Next(0, lastnames.Count - 1)]}";
await collection.InsertAsync("0", t);
await collection.RemoveAsync("0");

List<Task> inserTasks = new List<Task>();
sw.Start();
foreach (JObject temp in jsonObjects) // jsonObjects is pre-created so its not a factor in the test
{
    inserTasks.Add(collection.InsertAsync(temp.GetValue("JobId").ToString(), temp));
}
await Task.WhenAll(inserTasks);
sw.Stop();
Console.WriteLine($"Adding {nbr} to Couchbase took {sw.ElapsedMilliseconds} ms");
 

Redis (с использованием ServiceStack!)

 sw.Restart();
using (var client = redisManager.GetClient())
{
    foreach (JObject temp in jsonObjects)
    {
        client.Set($"jobId:{temp.GetValue("JobId")}", temp.ToString());
    }
}
sw.Stop();
Console.WriteLine($"Adding {nbr} to Redis took {sw.ElapsedMilliseconds} ms");
sw.Reset();
 

Mysql:

 MySql.Data.MySqlClient.MySqlConnection mySqlConnection = new MySql.Data.MySqlClient.MySqlConnection("Server=localhost;Database=test;port=3306;User Id=root;password=root;");
mySqlConnection.Open();
sw.Restart();
foreach (JObject temp in jsonObjects)
{
    MySql.Data.MySqlClient.MySqlCommand cmd = new MySql.Data.MySqlClient.MySqlCommand($"INSERT INTO test (id, data) VALUES ('{temp.GetValue("JobId")}', @data)", mySqlConnection);
    cmd.Parameters.AddWithValue("@data", temp.ToString());
    cmd.ExecuteNonQuery();
}
sw.Stop();
Console.WriteLine($"Adding {nbr} to MySql took {sw.ElapsedMilliseconds} ms");
sw.Reset();
 

Читать

Couchbase:

 IBucket bucket = await cluster.BucketAsync("halo");
IScope scope = bucket.Scope("myScope");
var collection = scope.Collection("myCollection");


    Stopwatch sw = Stopwatch.StartNew();
    for (int i = 0; i < 1000; i  )
    {
        string key = $"{r.Next(1, 100000)}";
        var result = await collection.GetAsync(key);
    }
    sw.Stop();
    Console.WriteLine($"Couchbase Q: {q}t{sw.ElapsedMilliseconds}");
 

Redis:

     Stopwatch sw = Stopwatch.StartNew();
    using (var client = redisManager.GetClient())
    {
        for (int i = 0; i < nbr; i  )
        {
            client.Get<string>($"jobId:{r.Next(1, 100000)}");
        }
    }
    sw.Stop();
    Console.WriteLine($"Redis Q: {q}t{sw.ElapsedMilliseconds}");
 

MySQL:

 MySqlConnection mySqlConnection = new MySql.Data.MySqlClient.MySqlConnection("Server=localhost;Database=test;port=3306;User Id=root;password=root;");
mySqlConnection.Open();
            
Stopwatch sw = Stopwatch.StartNew();
for (int i = 0; i < nbr; i  )
{
    MySqlCommand cmd = new MySql.Data.MySqlClient.MySqlCommand($"SELECT data FROM test WHERE Id='{r.Next(1, 100000)}'", mySqlConnection);
    using MySqlDataReader rdr = cmd.ExecuteReader();

    while (rdr.Read())
    {
    }
}
sw.Stop();
Console.WriteLine($"MySql Q: {q} t{sw.ElapsedMilliseconds} ms");
sw.Reset();
 

Настройка Couchbase:

и

и долговечность корзины:

У меня есть только 1 узел (без кластера), он локальный на моей машине, с 12 ядрами Ryzen 3900x, M.2 SSD, Win10, 32 ГБ ОЗУ.

Если вы зашли так далеко, вот репозиторий GitHub с моим эталонным кодом: https://github.com/tedekeroth/CouchbaseTests

Я взял ваши тесты CouchbaseTests, прокомментировал биты, отличные от Couchbase. Исправлен запрос на выбор из коллекции ( MyCollection ) вместо jobcache и удален параметр Metrics. И создал индекс на JobID. создайте индекс mybucket_JobId по умолчанию:myBucket.MyScope.MyCollection (JobID) Он вставляет 100 000 документов за 19 секунд, а kv-выборка документов занимает в среднем 146 секунд, а запрос по JobID — в среднем 965 секунд.

 Couchbase Q: 0 187
Couchbase Q: 1 176
Couchbase Q: 2 143
Couchbase Q: 3 147
Couchbase Q: 4 140
Couchbase Q: 5 138
Couchbase Q: 6 136
Couchbase Q: 7 139
Couchbase Q: 8 125
Couchbase Q: 9 129
average et: 146 ms per 1000 -> 146 usec / request

Couchbase Q: 0 1155
Couchbase Q: 1 1086
Couchbase Q: 2 1004
Couchbase Q: 3 901
Couchbase Q: 4 920
Couchbase Q: 5 929
Couchbase Q: 6 912
Couchbase Q: 7 911
Couchbase Q: 8 911
Couchbase Q: 9 927
average et: 965 ms per 1000 -> 965 usec / request. (coincidentally exactly the same as with the java api).
 

Это было в сборке 7.0 3739 на Mac Book Pro с локальным сервером cbserver.

######################################################################

У меня есть небольшое приложение LoadDriver для java sdk, которое использует kv api. С 4 потоками он показывает среднее время отклика 54 микросекунды и пропускную способность 73238 запросов в секунду. Он использует корзину с образцами для перемещения на сервере cb на localhost. git@github.com:mikereiche/loaddriver.git

Запуск: секунды: 10, потоки: 4, тайм-аут: 40000us, порог: 8000us запросы в секунду: 0 (максимум), принудительный интервал GC: 0 мс Количество: 729873, запросы в секунду: 72987, макс: 2796us среднее значение: 54us, совокупный rq / s: 73238

Для API запросов я получаю следующее, что в 18 раз медленнее.

Время выполнения: секунды: 10, потоки: 4, тайм-аут: 40000us, порог: 8000us запросы в секунду: 0 (максимум), принудительный интервал GC: 0 мс Количество: 41378, запросы в секунду: 4137, макс: 12032us среднее значение: 965us, совокупный rq / s: 4144

Мне пришлось бы самому провести такое сравнение, чтобы провести полное расследование, но выделяются две вещи.

1. Ваше параллельное выполнение не является полностью параллельным. async методы выполняются синхронно вплоть до первого ожидания, поэтому весь код InsertAsync/GetAsync перед первым ожиданием выполняется последовательно по мере добавления ваших задач, а не параллельно.
2. CouchbaseNetClient выполняет некоторую настройку отложенного подключения в фоновом режиме, и вы оплачиваете эту стоимость в разделе timed . В зависимости от среды, включая согласование SSL и тому подобное, это может быть значительной начальной задержкой.

Вы можете потенциально решить первую проблему, используя Task.Run для запуска операции, но вам может потребоваться предварительно установить размер пула потоков по умолчанию.

Вы можете решить вторую проблему, выполнив по крайней мере одну операцию над корзиной (включая bucket.WaitUntilReadyAsync() ) перед разделом timed.

60 секунд для вставок по-прежнему выглядят ненормально. Сколько узлов и какие настройки долговечности вы используете?