Проблема синхронизации «корзины» с локальным каталогом с потоками потоков данных Spring Cloud

#spring-cloud-stream #spring-cloud-dataflow #spring-cloud-aws

#spring-cloud-stream #spring-cloud-поток данных #spring-cloud-aws

Вопрос:

Я следую этому тематическому исследованию, которое похоже на мое, где я хочу получить тысячи файлов в корзине S3 и запустить пакетную задачу, которая будет их использовать.

Но я получаю:

 Problem occurred while synchronizing 'bucket' to local directory; nested exception is org.springframework.messaging.MessagingException: Failed to execute on session; nested exception is com.amazonaws.services.s3.model.AmazonS3Exception: Access Denied (Service: Amazon S3; Status Code: 403; Error Code: AccessDenied;
 

Я уже использую эту корзину, используя spring-cloud-starter-aws зависимость в некоторых приложениях.

Я знаю, что сообщение довольно четкое, но должен ли я иметь определенные разрешения в корзине, когда мне нужно синхронизировать подобным образом с потоком данных Spring Cloud?

Моя текущая конфигурация потока:

 s3 
--spring.cloud.function.definition=s3Supplier,taskLaunchRequestFunction 
--file.consumer.mode=ref 
--s3.common.path-style-access=true 
--s3.supplier.remote-dir=mybucket 
--s3.supplier.local-dir=/scdf/infile 
--cloud.aws.credentials.accessKey=**** 
--cloud.aws.credentials.secretKey=**** 
--cloud.aws.region.static=**** 
--cloud.aws.stack.auto=false 
--task.launch.request.taskName=bill-composed-task 
| 
task-launcher-dataflow 
--spring.cloud.dataflow.client.server-uri=http://localhost:9393
 

Заранее спасибо

Комментарии:

1. Я не знаю точно, но попробуйте удалить доступ в стиле пути. Это соответствует настройкам в AWS SDK, необходимым для Minio, но не должно быть обязательным для AWS. Также я бы попробовал удалить stack.auto= false.

2. Привет @dturanski Я попытался удалить path-style, а также stack.auto, но безуспешно. Я решил перейти на spring-batch-integration из-за нехватки времени для достижения своей цели, но я попробую еще раз, потому что мне очень понравился SCDF.