#amazon-web-services #amazon-redshift
Вопрос:
Я новичок в aws redshift, я использую кластер redshift (2 узла ra3.xplus), и при запросе нескольких таблиц (с помощью редактора запросов) я получаю следующую ошибку:
the query result is 105488469 bytes after compression which exceeds the maximum size limit (100 MB)
И запрос перестает выполняться.
Моя идея красного смещения заключалась в том, что оно полезно для запроса больших объемов исторических данных, так почему же существует ограничение на запрос в 100 Мб?
Комментарии:
1. Почему вы пытаетесь получить так много данных с помощью редактора запросов?
2. Существуют ли другие способы запроса из кластера? Как внешний SQL-сервер, который я могу подключить к кластеру. Я не знаю об этом, не могли бы вы помочь мне с этим?
3. Почему вы пытаетесь получить так много данных с помощью редактора запросов? Вы пытаетесь экспортировать данные в другую систему? Это большой объем выходных данных для «запроса».
Ответ №1:
Согласно документации редактора запросов Amazon Redshift, действительно существует ограничение в 100 МБ на объем данных, которые вы можете загрузить таким образом. Редактор запросов основан на Интернете, и его основное назначение-для интерактивных, относительно небольших запросов.
Redshift, безусловно, может обрабатывать большие наборы результатов, и для них вам было бы лучше использовать ВЫГРУЗКУ для сохранения данных в S3. ВЫГРУЗКА предназначена для больших наборов данных и автоматизации.