Как лучше всего справиться с прерыванием пакетного создания Sidekiq?

#ruby-on-rails #ruby #sidekiq

Вопрос:

В настоящее время у нас есть одно длительное задание sidekiq для загрузки данных из CSV, которое ставит в очередь сотни тысяч небольших заданий sidekiq.

Я хотел бы изменить этот процесс, чтобы использовать функциональность пакетов Sidekiq pro. Однако у меня есть опасения по поводу возможности повторной постановки в очередь sidekiq. Мы установили тайм-аут sidekiq таким образом, чтобы, если длительное задание будет прервано развертыванием, оно вернет задание в Redis и правильно возобновит обработку CSV с того места, где оно было прервано.

Существует ли какая-либо лучшая практика в отношении того, как обрабатывать, когда создание пакета sidekiq прерывается развертыванием? В частности, должен ли я попытаться повторно открыть существующий пакет, чтобы добавить в него дополнительные задания? Возможно ли это вообще?