#hadoop #apache-flink #hadoop-yarn
#hadoop #apache-flink #hadoop-yarn
Вопрос:
Мы столкнулись с проблемой при обновлении Flink 1.8.0 до 1.11.2. Мы можем успешно запустить несколько примеров кода, предоставленных Flink, таких как wordcount и window join. Мы используем Flink с Yarn.
Наша работа застревает в принятом состоянии с сообщением «Контейнер AM запущен, ожидая, пока контейнер AM зарегистрируется в RM». Мы используем зависимости, используемые в приведенном выше примере кода, с другими зависимостями, требуемыми моим кодом. У нас более чем достаточно ресурсов в очереди yarn.
Использование этой команды для отправки задания :
/home/hdfs/flink-1.11.2/bin/flink run -m yarn-cluster -p 4 -yjm 8096m -ytm 8098m -c test.StreamJob -jar /tmp/stream.jar --config ./config.json > ./test_bkt.log
Комментарии:
1. Что произойдет, если вы предоставите менеджеру заданий что-то вроде 2GB (
-yjm 2048m)?2. Способ настройки памяти / кучи изменился с версии 1.8. Если вы не обновили свой flink-conf. файл yaml, который может объяснить, почему задание не запускается. И файловые системы и репортеры метрик теперь загружаются по-другому (как плагины). И hadoop также управляется немного по-другому. Журналы могут дать некоторые подсказки.