#scala #apache-spark #apache-kafka #spark-structured-streaming
Вопрос:
У меня есть тема кафки с несколькими типами событий.
Моя ценность событий выглядит так:
type|name|value1|value2|value3
type|name|value1|value2|value3|value4
type|name|value1|value2
Я использовал структурированную потоковую передачу для чтения Кафки. Я хочу сохранить потоковые данные в фрейм данных. Фрейм данных результатов имеет схему, которая включает столбцы во все схемы.
Могу ли я хранить записи событий каждого типа во фрейме данных, а затем выбрать один из этих фреймов данных и объединить их, чтобы создать фрейм данных ?