Блог

Я пытаюсь загрузить данные в S3 (файлы parquet) из MongoDB с помощью службы миграции данных AWS (DMS). В одной конкретной коллекции есть поле, которое имеет тип данных Integer в некоторых документах и Double в других документах.

DMS сканирует коллекцию и записывает данные в файлы parquet.

Затем я запускаю поисковый робот для создания таблиц для AWS Athena. Таблица для этой коллекции создается с типом данных поля integer и имеет нулевые значения в тех документах, где тип данных этого поля double .

Есть ли какой-либо способ настроить DMS / Athena для преобразования всех целых чисел в double?

Я вижу, что мы можем написать правила преобразования (изменить тип столбца) для исходных данных в AWS DMS. Однако это еще не поддерживается для исходного кода MongoDB.