#amazon-web-services #aws-glue-data-catalog
Вопрос:
Я добавляю новый файл в формате parquet, который создается с помощью клея Databrew в моей папке S3. Новый файл имеет ту же схему, что и предыдущий файл. Но когда я запускаю искатель во 2-й раз, он не обновляет таблицу и не создает новую в каталоге данных. Кроме того, когда я просматриваю оба файла вместе, оба они добавляются.
Файл журнала содержит следующую информацию:
ИНФОРМАЦИЯ : Созданы разделы со значениями [[Новое имя файла]] для
контрольной таблицы : Завершена запись в каталог
Я пробовал с и без «Создать единую схему для каждого пути S3». Но искатель не обновляет таблицу новым файлом. Раньше я буду ежедневно добавлять новые файлы для проведения анализа. Есть какое-нибудь решение?
Комментарии:
1. Вы пробовали проверить версию таблицы, чтобы узнать, была ли она обновлена? Также вы пробовали запросить таблицу, чтобы узнать, дает ли она результаты из нового файла. Сколько строк присутствует в сгенерированном новом файле?
2. Привет @PrabhakarReddy. Да, я проверил версию таблицы, она не обновляется, а также количество строк такое же, как в первом файле, даже после 2-го обхода.