Извлечение огромных данных таблицы bigquery в несколько файлов в локальное хранилище, а не в хранилище Google

#python #google-bigquery #google-cloud-storage

# #python #google-bigquery #google-облачное хранилище

Вопрос:

У нас есть учетные данные учетной записи службы проекта Google. Используя это, нам нужно извлечь данные из таблицы и загрузить в таблицу в другом проекте.

Подход 1: извлеките данные в хранилище Google -> Загрузите файлы в local -> загрузите в таблицу в другом проекте. Когда мы используем метод client.extract_table, мы сможем экспортировать данные в файлы в хранилище Google. Но у нас нет разрешения storage.buckets.create. Из-за этого невозможно создать корзину для экспорта файлов в хранилище Google. Возможно ли извлечь данные в локальные файлы?

Подход2: считайте данные таблицы table и записывайте как dataframe, используя pandas. Но для этого требуется разрешение readsession.create. Он недоступен для учетных данных учетной записи службы.

Есть ли какая-либо возможность извлечь файлы в локальный без добавления каких-либо новых разрешений?

Комментарии:

1. Почему вы не используете существующую корзину повторно вместо создания новой?

2. @guillaumeblaquiere Проблема может возникнуть, если корзина не существует

3. Конечно, но у вас нет других решений! Вы можете извлекать только из BigQuery в облачное хранилище, а затем загружать файлы.