#google-bigquery
#google-bigquery
Вопрос:
Номер задания: swift-sphinx-624:job_Ja1iYkl8OdF83J9xU5CIQJFlomM
Сбой, пытался сделать набор данных общедоступным, но безрезультатно. Любая информация, более описательная, чем «ошибка серверной части», была бы высоко оценена.
Действительно извините, но мне просто больше нечего сообщить, сообщение об ошибке настолько неописуемо.
Комментарии:
1. Пожалуйста, расскажите нам, что вы пробовали.
2. Загружен большой файл (~ 2 ГБ, что составляет около 20 ГБ в несжатом виде). Первоначально потребовалось около 7 часов, а затем произошел сбой без какого-либо описания выше и за пределами «ошибки серверной части». Файл и сжатие должны быть в порядке, поскольку у меня есть другие файлы, которые работали, которые были меньше (сжатый < 1 ГБ). Я просто тестирую big query, поэтому использую веб-консоль, поэтому у меня нет никаких исключений или чего-либо подобного.
Ответ №1:
Не следует загружать файл такого размера в BigQuery. Правильный способ — загрузить этот файл в хранилище Google, а затем импортировать оттуда. Этот процесс намного надежнее.
сбой служб Google. мы должны это учесть.
Загрузка из облачного хранилища https://developers.google.com/bigquery/loading-data-into-bigquery#loaddatagcs
Возобновляемые загрузки в облачное хранилище https://developers.google.com/storage/docs/gsutil/commands/cp#resumable-transfers
Я надеюсь, что это поможет!
Комментарии:
1. На самом деле это был не ответ, я пробовал облачное хранилище. Я решил проблему, разделив свой файл на 4 файла. Загрузка их всех в облачное хранилище, а затем добавление их всех в одну таблицу. Я думаю, что это было просто ограничение размера. Однако сообщение об ошибке ужасно