#java #amazon-web-services #scala #etl #aws-glue
#Ява #amazon-веб-сервисы #scala #etl #aws-клей
Вопрос:
эй, у меня есть фрейм данных с
df.withColumn("file_name", input_file_name) у меня есть имя файла с некоторыми другими столбцами
мне нужно переопределить один и тот же файл в s3
я использовал что-то вроде
df.toDF() .write .mode("overwrite") .format("json") .partitionBy("year", "month", "day", "hour") .save(WRITE_URI) но я не могу видеть, как данные переопределяются или обновляются
я получаю ошибку выполнения, такую как
Exception in User Class: java.lang.IllegalArgumentException : Can not create a Path from an empty string в моем фрейме данных нет пустого значения
пожалуйста, помогите мне решить эту проблему
Комментарии:
1. Каково значение параметра WRITE_URI ? Также, что это за файл, который вы читаете — это один файл? Потому что, когда вы пишете фрейм данных,вы разбиваете его по годам, месяцам, дням и часам, чтобы новые файлы создавались соответственно внутри этих каталогов по указанному вами пути.
2. @NikunjKakadiya s3//местоположение