Загружайте CSV с Google Диска в Bigquery автоматически

#google-api #google-bigquery #google-drive-api

#google-api #google-bigquery #google-drive-api

Вопрос:

Я ищу способ вставить csv в таблицу Bigquery при автоматической загрузке на Google Диск. Я хочу ограничить действие пользователя только одним. Поместите csv в папку его диска. Я безуспешно пытался использовать push-уведомление из Drive API. Какая архитектура была бы лучшей?

с уважением

Комментарии:

1. Это неподходящее место для вопросов архитектуры программного обеспечения. Помимо использования push-уведомлений, что вы пробовали? Я думаю, у вас может быть триггер, основанный на времени работы скрипта приложений, для проверки содержимого папки диска, и если в папку был помещен CSV, выполните процедуру для загрузки в BigQuery, затем удалите загруженный CSV из просматриваемой папки.

2. Я попробовал API push-уведомлений с облачной функцией. Но, к сожалению, получил 401, не удалось зарегистрировать домен с URL облачной функции. Действительно, с приложениями скрипт будет простым, но его много кода и вряд ли его можно поддерживать. Я искал решение с облачными функциями / pub_sub / push-уведомлением.

3. Смотрите meta.stackexchange.com/a/129632/816559 вам следует задать этот вопрос на другом форуме.