#spring-cloud-stream #spring-cloud-dataflow #spring-cloud-aws
#spring-cloud-stream #spring-cloud-поток данных #spring-cloud-aws
Вопрос:
Я следую этому тематическому исследованию, которое похоже на мое, где я хочу получить тысячи файлов в корзине S3 и запустить пакетную задачу, которая будет их использовать.
Но я получаю:
Problem occurred while synchronizing 'bucket' to local directory; nested exception is org.springframework.messaging.MessagingException: Failed to execute on session; nested exception is com.amazonaws.services.s3.model.AmazonS3Exception: Access Denied (Service: Amazon S3; Status Code: 403; Error Code: AccessDenied;
Я уже использую эту корзину, используя spring-cloud-starter-aws
зависимость в некоторых приложениях.
Я знаю, что сообщение довольно четкое, но должен ли я иметь определенные разрешения в корзине, когда мне нужно синхронизировать подобным образом с потоком данных Spring Cloud?
Моя текущая конфигурация потока:
s3
--spring.cloud.function.definition=s3Supplier,taskLaunchRequestFunction
--file.consumer.mode=ref
--s3.common.path-style-access=true
--s3.supplier.remote-dir=mybucket
--s3.supplier.local-dir=/scdf/infile
--cloud.aws.credentials.accessKey=****
--cloud.aws.credentials.secretKey=****
--cloud.aws.region.static=****
--cloud.aws.stack.auto=false
--task.launch.request.taskName=bill-composed-task
|
task-launcher-dataflow
--spring.cloud.dataflow.client.server-uri=http://localhost:9393
Заранее спасибо
Комментарии:
1. Я не знаю точно, но попробуйте удалить доступ в стиле пути. Это соответствует настройкам в AWS SDK, необходимым для Minio, но не должно быть обязательным для AWS. Также я бы попробовал удалить stack.auto= false.
2. Привет @dturanski Я попытался удалить path-style, а также stack.auto, но безуспешно. Я решил перейти на spring-batch-integration из-за нехватки времени для достижения своей цели, но я попробую еще раз, потому что мне очень понравился SCDF.