Набор результатов AWS athena, показывающий значения в зигзагообразном порядке для столбцов

#amazon-web-services #web-crawler #aws-glue #amazon-athena

Вопрос:

Я запускаю пользовательский обходчик в Aws для извлечения данных из источника данных и размещения их в таблицах каталога данных AWS. После того, как искатель завершит свой запуск, и я запрошу таблицу в Athena. Я вижу, что значения, которые должны находиться в одном столбце и переходить в следующий столбец в наборе результатов. Это проблема с краулером, который я запускаю, или проблема с консолью Athena?

Ответ №1:

Причина, по которой ваши столбцы меняются местами, заключается в несоответствии между метаданными и базовыми исходными данными. Это происходит потому, что искатель наблюдает больше или меньше столбцов, чем он ожидает. Проверьте, так ли это.

Чтобы уточнить, искатель не перемещает данные, а скорее сканирует их, чтобы увидеть, какие типы данных существуют, включая столбцы/типы. Результаты в метаданных, которые описывают данные, существующие в источнике данных. Затем Афина может использовать эти метаданные для запроса данных из источника.