Блог

Я пытаюсь настроить журналы доступа в режиме реального времени для объектов, хранящихся в облачном хранилище Google. Журналы доступа, указанные здесь Google, генерируются каждый час и не будут работать.

Я хотел бы получить аналогичную информацию о доступе к объектам (ip, загруженный объем, client_os), но в режиме реального времени. Есть ли способ сделать это на облачной платформе Google?

Если было бы лучше направлять трафик через другую точку с журналами в реальном времени, я был бы признателен за совет о том, как это можно сделать и с помощью каких инструментов. В конечном счете, я хочу визуализировать данные в Google Data Studio.

К сожалению, хранилище Google предоставляет только следующую метрику gcp-хранилища

 - api/request_count
- authz/acl_based_object_access_count
- authz/object_specific_acl_mutation_count
- network/received_bytes_count
- network/sent_bytes_count
- storage/object_count
- storage/total_byte_seconds
- storage/total_bytes
 

Я думаю, вам нужен журнал доступа для ваших объектов корзины, таких как изображения, видео … и т.д.
Возможно, вы можете попробовать использовать Google Cloud CDN перед своим хранилищем.
Таким образом, вы можете получить необходимый вам журнал доступа с помощью HttpRequest и получить из stackdriver

 {
  "requestMethod": string,
  "requestUrl": string,
  "requestSize": string,
  "status": number,
  "responseSize": string,
  "userAgent": string,
  "remoteIp": string,
  "serverIp": string,
  "referer": string,
  "latency": string,
  "cacheLookup": boolean,
  "cacheHit": boolean,
  "cacheValidatedWithOriginServer": boolean,
  "cacheFillBytes": string,
  "protocol": string
}
 

Существует три типа журналов для облачного хранилища:

1. Журналы доступа — обновляются с почасовой оплатой, регистрируя все запросы для указанного сегмента.
2. Журналы хранения — обновляются ежедневно, предоставляя всю информацию об использовании хранилища за последний день.
3. Журналы аудита — отслеживает доступ на постоянной основе, это рекомендуемый способ регистрации активности хранилища для пользователей, прошедших проверку подлинности.

Вы можете просмотреть журналы аудита в консоли облачной платформы Google> Поток активности.

Фильтр по типу ресурса: GCS bucket .

Более подробную версию журналов можно найти в окне просмотра журналов.

Если вам необходимо использовать журналы для дальнейшей аналитики, в документации Google Cloud есть несколько вариантов для этого. Существует также пример запроса для визуализации данных в Data Studio. Проверьте дополнительные пользовательские запросы для Data Studio здесь.