Блог

Итак, у меня есть папка S3 с несколькими вложенными папками, действующими как разделы (в зависимости от даты создания). У меня есть таблица клея для этих разделов, и я могу просматривать данные с помощью Athena.

Запустив задание склеивания и пытаясь получить доступ к каталогу, я получаю следующую ошибку:

 HadoopDataSource: Skipping Partition {} as no new files detected @ s3:...
 

Линия, которая вызывает у меня проблемы, заключается в следующем:

 glueContext.getCatalogSource(database = "DB_NAME", tableName = "TABLE_NAME", redshiftTmpDir = "", transformationContext = "datasource0").getDynamicFrame().toDF()
 

Я хочу в любой момент получить доступ ко всем данным в этих подпапках S3, поскольку они регулярно обновляются.

Я думаю, что проблема в том, что закладка задания клея не обнаруживает новых файлов, но это выполняется не непосредственно как часть задания, а как часть библиотеки, используемой заданием.

Удаление «transformationContext» или изменение его значения на пустое не сработало.

Таким образом, вывод Hadoop, который вы получаете, — это не ошибка, а просто простое сообщение о том, что раздел пуст.

Но раздел, который регистрируется {} , кажется, выключен. Вы можете это проверить?

Кроме того, не могли бы вы запустить задание с отключенной закладкой, чтобы убедиться, что это не является причиной проблемы?

Я также обнаружил эту нерешенную проблему с GitHub, возможно, вы тоже можете прокомментировать ее, чтобы эта проблема привлекла некоторое внимание.