Блог

Главная - Вопросы по программированию - Как выбрать python версии 3 при развертывании AWS glue Job с glue версии 1.0 с использованием YAML (без сервера)

Как выбрать python версии 3 при развертывании AWS glue Job с glue версии 1.0 с использованием YAML (без сервера)

#python #amazon-web-services #aws-glue #aws-glue-spark

#python #amazon-веб-сервисы #aws-glue #aws-glue-spark

Вопрос:

Как выбрать python версии 3 при развертывании AWS glue Job с glue версии 1.0 с использованием YAML (бессерверный)? Я развертываю AWS glue с использованием бессерверного кода YAML. AWS предоставил параметр GlueVersion для выбора версии glue для использования, которую я устанавливаю на «1.0». Я хочу использовать Python 3, но он развертывается на python 2 в задании glue. Есть ли у кого-нибудь идея, как настроить его на использование python3 с использованием кода развертывания YAML без внесения изменений вручную в задание склеивания?

Комментарии:

1. существует свойство pythonversion, как показано в boto3.amazonaws.com/v1/documentation/api/latest/reference /. … вы также должны найти эквивалент

2. свойство версии python, упомянутое в документах, предназначено для задания glue python shell, а не для задания glue spark

Ответ №1:

Подтверждено AWS, их документ сбивает с толку, где они упоминают параметр PythonVersion для оболочки python. Они работают над исправлением формулировки документа. Приведенный ниже шаблон формирования может работать для меня.

 Type: AWS::Glue::Job
Properties:
  Name: <job name>
  Description: ETL Job
  GlueVersion: '1.0'
  Command:
    Name: glueetl
    PythonVersion: 3
    ScriptLocation: <script location>
  ExecutionProperty:
    MaxConcurrentRuns: 1
  AllocatedCapacity: <number for workers>
  DefaultArguments:
   <any default arguments for glue job>
  Role:
    Ref: <glue roles>
  Connections:
    Connections:
      - Ref: <any JDBC connections>
Метки: