Блог

Я пытаюсь развернуть GCP composer с помощью terraform, но возникла проблема ->

Ошибка: Неподдерживаемый тип блока вкл. composer.tf строка 43, в ресурсе «google_composer_environment» «тест»: 34: encryption_config { Блоки типа «encryption_config» здесь не ожидаются.

Вот composer.tf файл:

 resource "google_composer_environment" "test" {
  name   = "dwh_composer"
  region = local.default_region
  config {
    node_count = 3
    node_config {
      zone         = local.default_zone
      machine_type = "e2-medium"
      network    = google_compute_network.test.id
      subnetwork = google_compute_subnetwork.test.id
      service_account = google_service_account.test.name
    }
    software_config {
      image_version = "composer-1.17.0-preview.9-airflow-2.1.1"
      python_version = "3"
      airflow_config_overrides = {
        core-load_example = "True"
      }
      pypi_packages = {
        numpy = ""
        scipy = "==1.1.0"
      }
      env_variables = {
        FOO = "bar"
        R1 = "test5"
        evvv_qqq_d = "test1"
        M1 = "test3"
        AIRFLOW-3 = "test2"
      }
    }
    private_environment_config {
      enable_private_endpoint = true
    }
    encryption_config {
      kms_key_name = google_kms_crypto_key.dwh_composer_crypto_key.name
    }
  }
}

resource "google_kms_key_ring" "data_warehouse_kms_keyring" {
  name     = "data-warehouse-kms-keyring"
  location = "europe-west4"
}

resource "google_kms_crypto_key" "dwh_composer_crypto_key" {
  name            = "dwh-composer-crypto-key"
  key_ring        = google_kms_key_ring.data_warehouse_kms_keyring.self_link
}
 

Вот main.tf файл:

 terraform {
  required_version = "1.0.0"

  backend "gcs" {
    bucket = "terraform-data-warehouse"
    prefix = "gcp/data-warehouse/composer"
  }

  required_providers {
    google = {
      source  = "hashicorp/google"
      version = "~> 3.70.0"
    }
    google-beta = {
      source  = "hashicorp/google-beta"
      version = "~> 3.70.0"
    }
  }
}

# -- Providers

provider "google" {
  project = local.project_id
}

provider "google-beta" {
  project = local.project_id
}

# -- common public state

data "terraform_remote_state" "common" {
  backend = "gcs"

  config = {
    bucket = "terraform-public"
    prefix = "common"
  }
}

# -- Local variables
locals {
  default_zone = "europe-west4-a"
  default_region = "europe-west1"
  project_id = "my-project"
  team_group = data.terraform_remote_state.common.outputs.teams.data_warehouse.group
  default_multi_region = "EU"
}
 

Не могли бы вы мне помочь?

Проблема, с которой вы столкнулись, заключается в том, что encryption_config это бета-версия google_composer_environment ресурса terraform в соответствии с документами. Просто укажите поставщика бета — версии в ресурсе:

 resource "google_composer_environment" "test" {
  name   = "dwh_composer"
  region = local.default_region
  provider = google-beta
  ...
}
 

Не забудьте terraform init сделать это раньше, чтобы бета-версия провайдера Google была загружена и доступна для использования.