#hadoop #hdfs #jobs
#hadoop #hdfs #Вакансии
Вопрос:
Если я отправляю входной файл в HDFS и запускаю несколько заданий, которые обращаются к этому файлу, есть ли способ проверить, обращается ли к входному файлу какое-либо из этих заданий и / или какое из этих заданий в любой данный момент времени?
Ответ №1:
Вы можете распечатать имя файла внутри картографа вашего задания. Когда это задание выполняется, оно выводит имя, и вы можете узнать, какой файл используется этим заданием в это время. Вот как вы можете получить имя файла из вашего картографа :
FileSplit fileSplit = (FileSplit)context.getInputSplit();
String filename = fileSplit.getPath().getName();
HTH