Каталог данных GCP — ОДИН для всех проектов (одной и более организаций)

#google-cloud-platform #organization #project-organization #google-data-catalog

#google-облачная платформа #организация #проект-организация #google-data-catalog

Вопрос:

Какова наилучшая практика

  • чтобы охватить всю компанию (одну или несколько организаций, каждая с несколькими папками и проектами)
  • В один центральный каталог данных, содержащий все метаданные ?

(если «несколько организаций» слишком сложны, давайте начнем с одной)

Комментарии:

1. Пока это невозможно. Вы можете открыть проблему здесь

2. «Предлагает единый вид всех наборов данных». Google обещает это (и продает это таким образом), верно? Почему нигде не написано, что в Google Cloud вы получаете [облачные] хранилища данных [с API], это то, что проекты в настоящее время, верно?

3. В какой степени это возможно в настоящее время?

4. Я добрался до своих контактов в Google. Я дам вам знать, когда у меня будет ответ.

5. @guillaumeblaquiere спасибо, я тоже открыл проблему

Ответ №1:

Я собрал пример, показывающий, как работать с одной организацией.

Основная идея заключается в использовании проекта с центром тегов, в котором хранятся общие ресурсы, такие как шаблоны тегов, теги политик и пользовательские записи, которые можно использовать повторно.

Итак, у вас есть:

  • Центральный проект тегов
  • Список проектов аналитики (в которых у вас есть ресурсы данных)

Тогда следующее, что вы будете использовать, — это пользовательские персонажи, я бы предложил начать с:

  • Регуляторы данных
  • Кураторы данных
  • Аналитики данных

Это репозиторий google-datacatalog-governance-best-pratices на GitHub содержит код, который использует terraform для автоматической настройки тех лучших методов управления, о которых я упоминал.

Вы можете адаптировать эти образцы для работы на уровне папки или организации, изменив ресурсы terraform.