Как передавать данные в BigQuery с помощью Flink Stream и SQL API

java #apache-flink #flink-streaming #flink-sql

#java #apache-flink #flink-потоковая передача #flink-sql

Вопрос:

Есть ли какой-либо доступный соединитель Flink (приемник) для потоковой передачи BigQuery? Из документов BigQuery есть два возможных способа передачи данных,

  1. Устаревший потоковый API BigQuery
  2. API записи в хранилище

Из документации BigQuery похоже, что API записи в хранилище является предпочтительным. Я попытался найти соединитель приемника для обоих вышеуказанных типов, но я ничего не могу найти в документах Flink. Любой возможный способ добиться этого? В документе говорится, что можно написать пользовательский приемник, но я не уверен, с чего начать и как. Есть ли документация / блоги, доступные для написания собственного приемника (с использованием DataStreamAPI и SQLAPI)?

Комментарии:

1. Я вижу, что есть открытая JIRA ( FLINK-22665 ), поэтому официальной поддержки нет, вероятно, вам нужно написать свой собственный приемник. Это может помочь для начала.

2. Вы нашли какой-нибудь прорыв в этой теме? @невидимый