#apache-flink
#apache-flink
Вопрос:
Я новичок в flink и пытаюсь перейти с flink 1.8 на flink 1.11 в кластере emr. после обновления до flink1.11 Одно из отличий, которое я вижу, заключается в том, что я не получаю никаких метрик. я узнал, что у flink 1.11 нет org.apache.flink.metrics.statsd.StatsDReporterFactory jar в /usr/lib/flink/opt, как это было в случае с flink 1.8. может ли у кого-нибудь быть указатель на поиск org.apache.flink.metrics.statsd.StatsDReporterFactory jar или как использовать метрики в flink.1.11?
Комментарии:
1. Вы пытались загрузить jar mvnrepository.com/artifact/org.apache . flink /… в каталог lib?
2. Я попытался скопировать jar в папку плагинов, но это не сработало. Приложение запущено, но я не получаю журналы jobmanger / taskmanger.
3. Ведение журнала и метрики не связаны с точки зрения Flink. Ваш вопрос касался метрик и репортера показателей statsd. Метрики, отправляемые демону statsd, часто агрегируются и отслеживаются в некоторых серверных системах метрик, таких как graphite.
Ответ №1:
Flink перешел на модель плагинов для управления файловыми системами (начиная с Flink 1.10) и репортеров метрик (это изменилось в 1.11). Подробности см. В примечаниях к выпуску Flink 1.11, но вкратце, репортеры метрик больше не должны помещаться в каталог lib, а вместо этого в plugins/<some_directory> .
https://ci.apache.org/projects/flink/flink-docs-release-1.11/monitoring/metrics.html#reporter также освещается эта тема:
Важно: jar, содержащий reporter, должен быть доступен при запуске Flink. Репортеры, поддерживающие factory.class свойство может быть загружено в виде плагинов. В противном случае jar должен быть помещен в папку /lib. Репортеры, поставляемые с Flink (т.Е. Все репортеры, задокументированные на этой странице), доступны по умолчанию.
Комментарии:
1. Я согласен, и я сделал то же самое. Я загружаю jar с mvnrepository.com/artifact/org.apache . flink/… и поместите его в папку плагинов (/usr/ lib/flink/plugins/statsd), но в нем не отображаются журналы jobmanager / taskmanger.