#python #amazon-s3 #airflow #boto3 #boto
Вопрос:
Я пытаюсь загрузить изображения в корзину s3 через boto3 с помощью airflow dag. Но каждый раз, когда я получаю нижеприведенную информацию:
Задача находится в состоянии «выполняется», которое не является допустимым состоянием для выполнения. Задача должна быть очищена для запуска.
Мне нужно загрузить около 20 тысяч изображений. Выбраться из этого я смог очень немногим, прежде чем даг нанес удар.
Пожалуйста, найдите образец кода:
session = boto3.Session()
s3 = session.resource('s3')
bucket_name = 'your-bucket-name'
key = 'your-key-name' # key is the name of file on your bucket
bucket = s3.Bucket(bucket_name)
bucket.upload_fileobj(r.raw, key)```