#python-3.x #amazon-web-services #amazon-s3 #aws-lambda #aws-serverless
Вопрос:
Я создаю приложение, которое очищает-и т. Д.-Поиск в CSV, который ежедневно обновляется на веб-сайте. Я использовал EC2 для загрузки файла с помощью python pandas.read_csv(url) в EBS, но теперь я хочу сделать приложение бессерверным. Я хочу автоматизировать загрузку с ‘https://sam.gov/api/prod/fileextractservices/v1/api/download/Contract Opportunities/datagov/ContractOpportunitiesFullCSV.csv?privacy=Public» и загрузите его на сервер S3 без сервера. Я не уверен, что это возможно сделать без сервера. Есть ли лучший способ сделать это? Размер файла составляет около 500 МБ.
Ответ №1:
Лямбда-это именно то, что вы хотели бы использовать для такого рода сценариев. Сделайте следующее:
- Создайте корзину S3
- Напишите лямбда-функцию
- Настройте роль IAM, чтобы предоставить лямбда-разрешение на запись в корзину S3
- Настройте задачу моста событий для ежедневного запуска функции лямбда