#hadoop #sqoop
#hadoop #sqoop
Вопрос:
В сценарии, если существует одно единственное задание sqoop, которое мы используем для импорта 250 строк данных один раз и еще 250 строк данных снова, есть ли какой-либо способ узнать, какое выполнение задания sqoop какие данные импортировало?
Ответ №1:
Каждый sqoop job
создаст несколько файлов part-m, количество файлов зависит от картографов. Таким образом, вы можете сравнить время создания этих файлов.
В противном случае, если вы знаете желаемый sqoop job
идентификатор (например, ИДЕНТИФИКАТОР ЗАДАНИЯ: 1234567891234_4201), вы можете перейти к поиску log_file
ЗАДАНИЯ.
Импорт данных через Hue
Загляните в файл и попытайтесь найти Sqoop command arguments:
раздел. Вы увидите команду sqoop, которая была выполнена вами.
Импорт данных через командную строку Sqoop
Загляните в файл и попытайтесь найти Processing file
раздел. Вы увидите имя файла part-m, который был создан с помощью поискового идентификатора ЗАДАНИЯ.