# #r #google-cloud-platform #google-bigquery #bigrquery
Вопрос:
У меня есть большой запрос на какой-то стол. функции bq_table_download работают для большей части таблицы, однако они показывают, что не удалось проанализировать ошибки с 1 таблицей.
bigrquery::bq_auth()
sql_query=paste0("select * from `project_id.dataset.table_name`")
bq_table_ext=bq_table_download(bq_project_query(project_id, sql_query))
Для того, чтобы решить эту проблему, я также использовал, как предлагалось, bq_table_download с ограничением квоты загрузки.
options(scipen = 20)
Однако, тем не менее, я все еще не могу понять, в чем проблема.
Вот снимок кода ошибки
Error in bq_parse_files(schema_path, c(path_first_chunk, chunk_plan$dat$path), :
Failed to parse '/tmp/Rtmpjd5eQN/bq-download-8650ad590.json'
Calls: ... master_table_base -> bq_table_download -> bq_parse_files
In addition: Warning messages:
1: In writeBin(result$content, con) : problem writing to connection
2: In writeBin(result$content, con) : problem writing to connection
Execution halted
Комментарии:
1. Можете ли вы обновить свой пост и поделиться полным образцом проблемного набора данных? Просто для того, чтобы члены сообщества могли легко воспроизвести проблему.
2. Наборы данных содержат категориальные и числовые значения с 27 столбцами и 1 604 375 строками. Размер таблицы составляет 885,48 МБ. У меня также есть тест, в
check_table=bq_table_download(bq_project_query(project_id, sql_query),page_size=100,max_connection=1)котором все еще возникают проблемы3. Вы можете попробовать получить несколько строк (возможно, 10 строк) и проверить, сохраняется ли ошибка. Если ошибка не устранена, вы можете попробовать опубликовать 10 строк, в которых произошла ошибка, если это возможно.
4. Он отлично работает со 100 тысячами строк, но проблемы в том, что после этого мы получаем эту ошибку. Эта же функция bq_table_download работает с 6606 000 строками в другой таблице bigquery. Но не понял ограничения этой функции конкретной таблицей.
5. Я просто опубликую созданную вами проблему с мерзавцем здесь для справки. github.com/r-dbi/bigrquery/issues/464