Блог

Я сталкиваюсь с проблемой при загрузке данных в таблицу из файла .csv с использованием dsbulk. Я получаю как показано ниже в журнале ошибок.

Вызвано: com.datastax.driver.core.exceptions.Исключение OperationTimedOutException: [/10.0.126.13:9042] Истекло время ожидания ответа сервера

Эта среда представляет собой нашу POC-среду из 3 узлов с 8 процессорами и 64 ГБ памяти. И, по моим наблюдениям, когда я запускаю команду dsbulk, она потребляет все процессоры на сервере, и потребление памяти также возрастает.

Если вы можете дать мне указатель на точную настройку dsbulk, с помощью которой можно уменьшить загрузку процессора / памяти. Если эта операция замедлится и если я получу управляемую производительность, я согласен с этим.

Вы можете указать --executor.maxPerSecond параметр для ограничения количества операций в секунду. Смотрите документацию по DSBulk.

Также вы можете попробовать настроить параметры пакетной обработки, например, --batch.maxBatchStatements .

Также рекомендуется запускать DSBulk с отдельного компьютера, чтобы это не влияло на производительность DSE. (это общий совет для всего нагрузочного тестирования и т.д.)

спасибо всем за помощь, я смог решить эту проблему, загрузив последнюю версию debulk и установив размер пакета на 5000.