#mysql #hadoop #hdfs #sqoop
#mysql #hadoop #hdfs #sqoop
Вопрос:
Задания Mapper останавливаются из-за некоторого исключения во время выполнения.Основная вещь заключается в том, что формат даты в файле csv является ‘dd-Mon-yy’ и отличается от формата MySQL ‘yyyy-mm-dd’.Это приводит к исключению в задании Mapper, где дата преобразуется в java.sql.Date
Есть ли какие-либо средства, с помощью которых мы можем выполнить sqoop в mysql?
Данная команда была:
sqoop export --connect "jdbc:mysql://myhost/databasename" --table <tablename> --username <Myusername> -P --export-dir '<directory name>'
Это задание sqoop не удалось
Комментарии:
1. Я бы использовал Spark, а не Sqoop, если ваши данные противоречивы
2. Вы могли бы выполнить sqooq данных в mysql, но этот столбец не в формате даты. Попробуйте использовать формат строки для таблицы stage, а затем преобразуйте данные в формат даты и, наконец, загрузите данные в основную таблицу. Или, как сказал @Onecricket, используйте Spark для преобразования и загрузки данных в mysql.