Анализ заданий Sqoop

#hadoop #sqoop

#hadoop #sqoop

Вопрос:

В сценарии, если существует одно единственное задание sqoop, которое мы используем для импорта 250 строк данных один раз и еще 250 строк данных снова, есть ли какой-либо способ узнать, какое выполнение задания sqoop какие данные импортировало?

Ответ №1:

Каждый sqoop job создаст несколько файлов part-m, количество файлов зависит от картографов. Таким образом, вы можете сравнить время создания этих файлов.

В противном случае, если вы знаете желаемый sqoop job идентификатор (например, ИДЕНТИФИКАТОР ЗАДАНИЯ: 1234567891234_4201), вы можете перейти к поиску log_file ЗАДАНИЯ.

Импорт данных через Hue

Загляните в файл и попытайтесь найти Sqoop command arguments: раздел. Вы увидите команду sqoop, которая была выполнена вами.

Импорт данных через командную строку Sqoop

Загляните в файл и попытайтесь найти Processing file раздел. Вы увидите имя файла part-m, который был создан с помощью поискового идентификатора ЗАДАНИЯ.