Блог

Главная - Вопросы по программированию - Импорт Sqoop — инкрементная загрузка с помощью append

Импорт Sqoop — инкрементная загрузка с помощью append

#sqoop

#sqoop

Вопрос:

Я пробовал инкрементную загрузку с использованием опции добавления в импорте sqoop. Он добавляется в файл HDFS, где, как и при запросе таблицы, значения равны нулю.

Команда :

sqoop import --connect "jdbc:mysql://quickstart.cloudera:3306/retail_db" --username=retail_dba --password=cloudera --table departments --append --target-dir /user/hive/warehouse/departments --where "department_id>7" --outdir java_files

Результат Hive :

 hive> select * from departments;
OK
2   Fitness
3   Footwear
4   Apparel
5   Golf
6   Outdoors
7   Fan Shop 
NULL    NULL

Комментарии:

1. что является разделителем полей в departments таблице?

2. пожалуйста, поделитесь своими данными в /user/hive/warehouse/departments

3. При создании таблицы я указал ПОЛЕ, ЗАКАНЧИВАЮЩЕЕСЯ НА ‘ t’, а данные, доступные в / user / hive / warehouse / departments, равны 2, Фитнес 3, Обувь 4, Одежда 5, Гольф 6, на открытом воздухе 7, магазин фанатов 8000, Тестирование

4. ваши данные разделяются запятой, а ПОЛЕ ЗАКАНЧИВАЕТСЯ СИМВОЛОМ ‘ t. Затем вы должны увидеть все NULL

5. возможно, данные неправильно отформатированы в комментарии. Отредактируйте свой вопрос и добавьте туда данные.