Блог

Облачный сервис Google имеет множество общедоступных наборов данных, доступных в облачном хранилище. Я хотел бы отслеживать обновления / дополнения к некоторым из этих общедоступных наборов данных. Т.Е. Создавать какой-то веб-хук при добавлении новых файлов в общедоступные корзины данных.

Я читал об уведомлениях Google pubsub, возможности создания тем pubsub, которые отправляют уведомления об изменениях в корзинах.

Однако я не смог выяснить, существуют ли такие темы уже в общедоступных наборах данных, на которые я мог бы подписаться, или как создать такую тему на основе общедоступных наборов данных.

Есть ли какой-либо способ отслеживать изменения в общедоступных наборах данных, возможно, с помощью pubsub?

Вы можете попробовать перечислить изменения, выполняемые для каждого отдельного сегмента из общедоступных наборов данных. Например, набор Landsat data данных имеет местоположение корзины как gs://gcp-public-data-landsat . Как поясняется в этой официальной документации здесь, вы можете просматривать корзину с помощью команды gsutil notification watchbucket .

С помощью этой команды и ее параметров вы сможете установить корзину, в которой вы хотите отслеживать обновления, и куда отправлять эти данные. Пример команды, которая отслеживает изменения в корзине gcp-public-data-landsat и отправляет уведомления на сервер приложений, работающий на example.com:

 gsutil notification watchbucket https://example.com/notify gs://gcp-public-data-landsat
  

Более подробную информацию о команде notification можно найти здесь .

Я бы порекомендовал вам попробовать использовать это, поскольку, похоже, это доступный вариант, поскольку для просмотра этих наборов данных ничего не задано или не настроено.