#amazon-data-pipeline
#amazon-data-pipeline
Вопрос:
У меня есть файлы среднего размера в S3 (которые я получил из EMR), и в каждой строке есть ключ и объект, которые я хотел бы поместить в отдельное ведро.
Есть ли способ реализовать это с помощью конвейера данных?
Комментарии:
1. Вы выяснили, как это сделать?
Ответ №1:
Если вы просто хотите скопировать эти данные в другую корзину s3, вы можете использовать CopyActivity в datapipeline для этого. Ваш конвейер будет иметь S3DataNode в качестве входных данных для CopyActivity и выходного S3DataNode. Для начала попробуйте один из шаблонов, доступных в консоли AWS datapipeline, и отредактируйте свой конвейер, чтобы в нем были объекты, о которых я упоминал выше.
Комментарии:
1. Я не хочу просто копировать файлы, но я хочу разделить файлы построчно и поместить их в отдельное ведро. например, g: если у меня 1000 строк в первом файле, я помещу их как 1000 элементов в отдельное ведро.