Как запланировать команду задания sqoop с помощью oozie в azure hdinsight (удаленный компьютер)

#azure #sqoop #oozie #azure-hdinsight

#azure #sqoop #oozie #azure-hdinsight

Вопрос:

Я пытаюсь запланировать задание sqoop с помощью oozie в hdinsight (удаленный компьютер). Я выполнил команду задания sqoop в cmd и пытаюсь запланировать «задание —exec job1» в oozie. Но это не работает. Я видел журналы в azure blob и oozie logs, ошибок нет. Я видел успех в приложении yarn, и oozie показывает ошибку failure / killed1.

если я выполняю ту же команду в cmd, она работает хорошо.

 This is my sqoop job command :

sqoop job --create job1  -- import --connect "jdbc:sqlserver://<ip:port>;database=<dbname>;username=<name>;password=<pwd>" --table tablename --target-dir /example/sqoopoutput --incremental append --check-column latestdate --last-value "1991-01-01 00:00:00.000"

I am getting this error :

[org.apache.oozie.action.hadoop.SqoopMain], exit code [1]
  

я пробовал использовать все файлы jar в sqoop и oozie в общих библиотеках.

Ответ №1:

при планировании задания sqoop в oozie вы не оставляете пробел в переданном вами значении даты, вместо пробела используйте T

измените свою команду следующим образом :

 job --create job1  -- import --connect "jdbc:sqlserver://<ip:port>;database=<dbname>;username=<name>;password=<pwd>" --table tablename --target-dir /example/sqoopoutput --incremental append --check-column latestdate --last-value "1991-01-01T00:00:00.000"