Могу ли я использовать инструмент командной строки BigQuery в GCP для работы с ETL?

#google-cloud-platform #google-bigquery

Я хотел бы задать вам вопрос о BigQuery облачной платформы Google.

Работа, которую я хочу выполнить, — это ETL с использованием загрузки bq.

ETL относится к извлечению, преобразованию и загрузке.

В частности, я хотел бы добавить столбец в данные в формате JSON. Кроме того, я хочу изменить тип данных добавленного столбца.

например

 {
Cookie: 'test_cookie'
Time: "2020-10-26 00:00 UTC"
Data named }

уже существует.

Здесь

 {
Cookie: 'test_cookie'
dt: "2020-10-26"
hour : 00
timestamp : "2020-10-26 00:00 UTC"
}

собираюсь выполнить операцию ETL с данными таким образом.

Я задаю вопрос, потому что трудно найти что-либо, связанное с документами облачной платформы Google.

Возможно ли выполнить вышеуказанную работу?

Спасибо.

Вы должны быть в состоянии сделать большую часть этого с помощью инструмента командной строки bq. Есть несколько способов справиться с этим.

Выполните несколько сценариев unix, чтобы завершить весь процесс, зарезервировав инструмент командной строки bq для выполнения загрузки. Это скорее сценарий ETL.
Используйте больше подхода ELT и сначала загружайте свои данные в таблицу stage, а затем манипулируйте ими в BigQuery, используя некоторые функции date для анализа столбца time и загрузки результирующих данных.

Документация по GCP довольно надежная, вот несколько ссылок, которые могут помочь вам начать работу: https://cloud.google.com/bigquery/docs/quickstarts/quickstart-command-line