Блог

Главная - Вопросы по программированию - Получение файлов из SFTP в S3 AWS

Получение файлов из SFTP в S3 AWS

#amazon-web-services #amazon-s3 #aws-glue

#amazon-веб-сервисы #amazon-s3 #aws-клей

Вопрос:

Какой лучший вариант получения данных из каталога в SFTP и копирования в корзину S3 AWS? В SFTP у меня есть только разрешение на чтение, поэтому Rsync не является опцией.

Моя идея заключается в создании задания в GLUE с помощью Python, которое загружает эти данные и копирует их в корзину S3. Это разные файлы, один весит около 600 МБ, другие — 4 ГБ.

Ответ №1:

Предполагая, что вы говорите о сервере sFTP, которого нет в AWS, у вас есть несколько разных вариантов, которые могут быть проще, чем предложенные вами (хотя ваше решение может сработать):

  1. Загрузите интерфейс командной строки AWS на sFTP-сервер и скопируйте файлы с помощью AWS s3 cp команды.
  2. Напишите скрипт, используя AWS SDK, который берет файлы и копирует их. Возможно, вам потребуется использовать загрузку из нескольких частей с учетом размера ваших файлов.
  3. Вы можете создать управляемый AWS sFTP-сервер, который напрямую подключается к вашему пакету s3 в качестве внутреннего хранилища для этого сервера, а затем использовать sftp команды для копирования файлов.

Помните, что для выполнения любого из этих 3 (или 4) решений вам потребуются соответствующие разрешения в вашей учетной записи AWS.

Комментарии:

1. Первый вариант недоступен. На сервере SFTP у меня есть только разрешение на чтение. Я не могу установить другую службу. Во втором варианте, который я тестирую с paramiko, но с загрузкой из нескольких частей, отсутствует MB. Третий вариант, который я не пробовал, но у меня есть сомнения. Могу ли я перенести файлы из другого Sftp в семейство AWS Transfer? учитывая, что инструкции по захвату я должен произнести их в AWS.