Блог

Я интегрировал работу Flink с Datadog. В своей работе Flink я добавил показатели счетчика и гистограммы, но со стороны журнала данных я мог найти только показатели счетчика, а не гистограмму.

Я могу видеть метрику гистограммы со стороны Флинка:

но не могу найти его со стороны Datadog:

Кроме того, я могу найти показатели счетчиков, которые я добавил для этой работы.

Мое понимание таково

1. Я мог бы найти метрику гистограммы в пользовательском интерфейсе Flink, что означает, что в моем коде нет проблем с сбором метрик
2. Я мог бы найти метрику счетчика(из той же работы) в Datadog, что означает, что у меня нет проблем с интеграцией Flink <—> Datadog.

Объедините 1) и 2), я не могу понять, как это отладить. Есть идеи? Спасибо!

Вот как я создал гистограмму

 @transient private var eventTimeLagHistogram: Histogram = _
            
override def open(config: Configuration): Unit = {
  val dropwizardHistogram: com.codahale.metrics.Histogram  =
                  new com.codahale.metrics.Histogram(new SlidingWindowReservoir(500))
            
  eventTimeLagHistogram = getRuntimeContext()
                 .getMetricGroup.addGroup("OrderItemUpdateJobTest")
                  .histogram("eventTimeLagHistogram", new DropwizardHistogramWrapper(dropwizardHistogram))
              }
        
        
override def map(t: ObjectNode): OrderItemUpdate = {
              .....
  eventTimeLagHistogram.update(System.currentTimeMillis()- ItemTimestamp)
              .....
    }
 

Поддержка метрик гистограммы в репортере метрик datadog была добавлена во Flink 1.12.3 и 1.13.0. См. FLINK-20533.