Блог

Пользовательский интерфейс Spark Jobs в Azure Synapse имеет возможность передавать аргументы командной строки в базовый код, но, похоже, нет никакой возможности параметризовать эти аргументы.

Аналогично, действие определения задания Spark в конвейерах Azure не предлагает никаких параметров параметризации.

Есть ли какой-либо способ передать параметры заданию Azure Synapse?

Это есть в конвейерах Azure Synapse. Выпущен в мае 2021 года.

В настоящее время команда разработчиков работает над общедоступным документом / руководством о том, как мы можем параметризовать задания Spark.

На данный момент вы можете использовать JSON-файл определения задания для параметризации искрового задания. Прилагается один пример файла:

 {
  "targetBigDataPool": {
    "referenceName": "yifso-1019",
    "type": "SparkComputeReference"
  },
  "requiredSparkVersion": "2.4",
  "jobProperties": {
    "name": "job definition sample",
    "file": "wasbs://ContainerName@StorageName.blob.core.windows.net/SparkSubmission/artifact/default_artifact.jar",
    "className": "sample.LogQuery",
    "args": [],
    "jars": [],
    "pyFiles": [],
    "archives": [],
    "files": [],
    "conf": {
      "spark.hadoop.fs.azure.account.key.StorageName.blob.core.windows.net": "StorageAccessKey"
    },
    "numExecutors": 2,
    "executorCores": 4,
    "executorMemory": "14g",
    "driverCores": 4,
    "driverMemory": "14g"
  }
}
 

JSON определения задания можно изменять, импортировать и запускать напрямую.