Как загрузить личные файлы с S3 во время начальной загрузки EMR?

#ruby #amazon-web-services #amazon-s3 #rubygems #amazon-emr

#ruby #amazon-веб-сервисы #amazon-s3 #rubygems #amazon-emr

Вопрос:

Я пытаюсь использовать некоторые из замечательных сценариев начальной загрузки AwsLabs Ruby для настройки некоторых служб. К сожалению, в примерах, похоже, предполагается, что вы используете общедоступные корзины и используете curl для загрузки этих файлов.

Поскольку в настоящее время я не могу сделать наши объекты S3 общедоступными, я пытаюсь загрузить их, отправив ключи доступа / закрытые ключи в моем скрипте Ruby. Однако для ruby gem aws-sdk, похоже, требуется как минимум версия Ruby 1.9.2 (nokogiri). На нашем экземпляре EMR версия 1.8.7

Итак, на данный момент, что было бы лучшим вариантом? Предполагая, что я не могу сделать файлы общедоступными?

Комментарии:

1. вы можете использовать Java SDK, если у вас есть возможность установить java 1.6 на свои компьютеры. docs.aws.amazon.com/AmazonS3/latest/dev /…

2. Вы имеете в виду использовать Java SDK для получения файла из S3, а затем запустить скрипт начальной загрузки ruby?

3. Да, создайте простой jar и запустите его, используя простой скрипт bash в качестве действия начальной загрузки.

4. @Amar понял, я попробую, спасибо! Просто нужно убедиться, что файл загружен с S3 до запуска сценария начальной загрузки