#mapreduce #benchmarking #hadoop2
#mapreduce #сравнительный анализ #hadoop2
Вопрос:
Я использую файлы истории заданий Rumen mine, содержащие job-trace.json и job-topology.json. Нравится использование GirdMix:
$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-gridmix-2.7.3.jar -libjars $HADOOP_HOME/share/hadoop/tools/lib/hadoop-rumen-2.7.3.jar -Dgridmix.compression-emulation.enable=false <iopath> <trace>
И, означает рабочий каталог для Gridmix, поэтому я загружаю с помощью: file:///home/hadoop/input , означает файл трассировки, извлеченный из файлов журнала, загружаемый с помощью file:///home/hadoop/rumen/job-trace-1hr.json .
Наконец, встречаются следующие исключения:
2019-03-07 16:37:12,495 ERROR [main] gridmix.Gridmix (Gridmix.java:start(534)) - Startup failed. java.io.IOException: Found no satisfactory file in file:/home//hadoop/input
2019-03-07 16:37:13,040 INFO [main] util.ExitUtil (ExitUtil.java:terminate(124)) - Exiting with status 2
2019-03-07 16:37:13,041 INFO [Thread-1] gridmix.Gridmix (Gridmix.java:run(657)) - Exiting...
Итак, что нравится этому параметру или как его использовать?
может у кого-нибудь есть какие-нибудь идеи?
Спасибо.
Комментарии:
1. Как
<iopath>использовать?
Ответ №1:
Я обнаружил, что это мое собственное неправильное использование; Я проверяю использование параметров gridmix из-за слишком маленьких входных данных.
gridmix.min.file.size | The minimum size of the input files. The default limit is 128 MiB. Tweak this parameter if you see an error-message like "Found no satisfactory file" while testing GridMix with a relatively-small input data-set.
Итак, я настроил входные данные большего размера.
Используя -сгенерируйте 10G.
Спасибо.