#google-bigquery #google-cloud-datastore
#google-bigquery #google-cloud-хранилище данных
Вопрос:
При загрузке данных в BigQuery я получаю следующую ошибку (скопированную из истории заданий в веб-консоли BigQuery).
Errors:
query: Failed to load FileDescriptorProto for '_GEN_DREMEL_ONESTORE_METADATA_SCHEMA_': (error code: invalidQuery)
Field numbers 19000 through 19999 are reserved for the protocol buffer library implementation.
Field numbers 19000 through 19999 are reserved for the protocol buffer library implementation.
[... repeated a total of exactly 1000 times...]
Field numbers 19000 through 19999 are reserved for the protocol buffer library implementation.
(error code: invalidQuery)
Данные представляют собой управляемую резервную копию хранилища данных. (Ребята из этой команды отправили меня в BigQuery за помощью.)
Ошибка возникает с одним из шести случайно выбранных типов; остальные загружаются успешно. Кроме того, загрузка другого вида выдает ошибку «слишком много полей: 10693 (код ошибки: неверный)».
Как неудачный, так и успешный типы имеют одинаковый размер ~ 15 гигабайт данных.
Что мы можем сделать, чтобы загрузить эти данные?
Комментарии:
1. Спасибо за ваш отчет. У вас есть job_id, на который мы можем посмотреть?
2. bquijob_5ae806a6_157d8486814 выдает «слишком много полей: 10693 (код ошибки: неверный)». И bquijob_2129fd00_157a9f47a5d выдает сообщение «зарезервировано для библиотеки буферов протокола». Пожалуйста, напишите мне в автономном режиме, если вам нужна дополнительная информация (чтобы мы могли сохранить конфиденциальность).
Ответ №1:
Это было вызвано ограничением BigQuery: максимум 10000 столбцов в таблице. Таким образом, утилита для загрузки резервной копии хранилища данных в этом случае просто не работает.