Блог

Главная - Вопросы по программированию - AWS Athena — Проекция разделов не возвращает никаких результатов

AWS Athena — Проекция разделов не возвращает никаких результатов

#amazon-web-services #amazon-athena

#amazon-веб-сервисы #амазонка-афина

Вопрос:

Структура папок S3

s3://корзина/подпапка/данные/20211201/

s3://корзина/подпапка/данные/20211202/

выберите * из теста, где dt = ‘20211201’

Когда я запрашиваю таблицу, я не получаю никаких результатов.

Стол Athena с проекцией перегородки

 create external table `test`(  id int  ,name string ) partitioned by (  dt string ) ROW FORMAT SERDE   'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'  WITH SERDEPROPERTIES (   'parquet.column.index.access'='true')  STORED AS INPUTFORMAT   'org.apache.hadoop.mapred.TextInputFormat'  OUTPUTFORMAT   'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' LOCATION  's3://bucket/subfolder/data/' TBLPROPERTIES (  'classification'='parquet',  'has_encrypted_data'='false',   'transient_lastDdlTime'='1637182794',  "projection.enabled"= "true",  "projection.dt.type" = "date",  "projection.dt.range" = "20211201,NOW",  "projection.dt.format" = "yyyyMMdd",  "projection.dt.interval" = "1",  "projection.dt.interval.unit" = "DAYS",  "storage.location.template" = "s3://bucket/subfolder/data/${dt}/"  )

Комментарии:

1. Я не вижу ничего плохого в конфигурации проекции разделов. Вы уверены, что это не просто опечатка, например, в шаблоне расположения хранилища? Содержит ли aws s3 ls s3://bucket/subfolder/data/20211201/ список файлов? Что, если ты побежишь SELECT * FROM test , получишь ли ты вообще что-нибудь?

Метки: