Блог

Я разработал конвейер с elasticsearch в качестве входного плагина и s3 в качестве выходного плагина. В моем случае конвейер успешно запустился и передал данные в корзину s3, но в случае завершения или сбоя он не начинается там, где конвейер закончился в прошлый раз. Что происходит? предположим, что конвейер был запущен, и размер данных составлял 8 ГБ, а конвейер был перемещен на 6 ГБ в корзину S3, затем внезапно конвейер был прерван по какой-либо причине и снова перезапущен, затем данные начинаются с первой позиции, 6 ГБ уже есть, теперь снова приходят те же данные, затем делают дублирование в корзине s3. Есть ли способ возобновить конвейер? Конвейер уже передал данные примерно на 6 ГБ, и когда мы начнем снова после сбоя, он должен передать данные, оставшиеся на 2 ГБ.