Блог

Я боролся с проблемой, используя kafka connect и приемник S3.

Сначала структура:

 {
   Partition: number
   Offset: number
   Key: string
   Message: json string
   Timestamp: timestamp
}
  

Обычно при публикации в Kafka временная метка должна быть установлена производителем. К сожалению, похоже, что были случаи, когда этого не происходило. Это означает, что временная метка иногда может быть null

Для извлечения этой временной метки соединителю было присвоено следующее значение: "timestamp.extractor":"Record" .

Теперь всегда можно быть уверенным, что Message само поле также всегда содержит временную метку.

Message :

 {
   timestamp: "2019-04-02T06:27:02.667Z"
   metadata: {
     creationTimestamp: "1554186422667"
   }
}
  

Вопрос, однако, в том, что теперь я хотел бы использовать это поле для timestamp.extractor

Я думал, что этого будет достаточно, но, похоже, это не работает:

 "timestamp.extractor":"RecordField",
"timestamp.field":"message.timestamp",
  

Это также приводит к указателю NULL.

Есть идеи относительно того, как использовать временную метку из самой полезной нагрузки сообщения kafka вместо поля временной метки по умолчанию, которое установлено для kafka версии 0.10

РЕДАКТИРОВАТЬ: Полная конфигурация:

 { "name": "<name>",
  "config": {
    "connector.class":"io.confluent.connect.s3.S3SinkConnector",
    "tasks.max":"4",
    "topics":"<topic>",
    "flush.size":"100",
    "s3.bucket.name":"<bucket name>",
    "s3.region": "<region>",
    "s3.part.size":"<partition size>",
    "rotate.schedule.interval.ms":"86400000",
    "key.converter": "org.apache.kafka.connect.storage.StringConverter",
    "value.converter": "org.apache.kafka.connect.json.JsonConverter",
    "key.converter.schemas.enable": "false",
    "value.converter.schemas.enable": "false",
    "storage.class":"io.confluent.connect.s3.storage.S3Storage",
    "format.class":"io.confluent.connect.s3.format.json.JsonFormat",
    "locale":"ENGLISH",
    "timezone":"UTC",
    "schema.generator.class":"io.confluent.connect.storage.hive.schema.TimeBasedSchemaGenerator",
    "partitioner.class":"io.confluent.connect.storage.partitioner.TimeBasedPartitioner",
    "partition.duration.ms": "3600000",
    "path.format": "'year'=YYYY/'month'=MM/'day'=dd",
    "timestamp.extractor":"RecordField",
    "timestamp.field":"message.timestamp",
    "max.poll.interval.ms": "600000",
    "request.timeout.ms": "610000",
    "heartbeat.interval.ms": "6000",
    "session.timeout.ms": "20000",
    "s3.acl.canned":"bucket-owner-full-control"
  }
}
  

ПРАВКА 2:
Структура полезной нагрузки сообщения Kafka:

 {
  "reference": "",
  "clientId": "",
  "gid": "",
  "timestamp": "2019-03-19T15:27:55.526Z",
}
  

ПРАВКА 3:

 {
"transforms": "convert_op_creationDateTime",
"transforms.convert_op_creationDateTime.type": "org.apache.kafka.connect.transforms.TimestampConverter$Value",
"transforms.convert_op_creationDateTime.target.type": "Timestamp",
"transforms.convert_op_creationDateTime.field": "timestamp",
"transforms.convert_op_creationDateTime.format": "yyyy-MM-dd'T'HH:mm:ss.SSSXXX"
}
  

Итак, я попытался выполнить преобразование объекта, но, похоже, я снова застрял на этом. Шаблон кажется недопустимым. Просматривая Интернет, кажется, что это допустимый SimpleDatePattern. Кажется, он жалуется на 'T' . Также обновлена схема сообщения.

На основе схемы, которой вы поделились, вы должны настроить:

     "timestamp.extractor":"RecordField",
    "timestamp.field":"timestamp",
  

т.е. нет message префикса к имени поля временной метки.

Если данные представляют собой строку, то Connect попытается проанализировать их за миллисекунды — исходный код здесь.

В любом случае, message.timestamp предполагается, что данные выглядят как { "message" : { "timestamp": ... } } , так что просто timestamp было бы правильно. И в любом случае наличие вложенных полей раньше было невозможно, поэтому вы можете уточнить, какая версия Connect у вас есть.

Я не совсем уверен, как бы вы получили instanceof Date значение true при использовании JSON Converter, и даже если бы вы установили schema.enable = true , то также в коде вы можете видеть, что есть только условия для типов схем чисел и строк, но все равно предполагается, что это миллисекунды.

Вы можете попробовать использовать преобразование TimestampConverter для преобразования вашей строки даты.