структурированная потоковая передача spark с использованием различной схемы для каждой строки в зависимости от типа сообщения

#apache-spark #spark-structured-streaming

Вопрос:

Приложение ведет потоковую передачу из темы кафки, которая получает сообщения с другой структурой. Единственный способ узнать, какая это структура, — это использовать ключ сообщения. Есть ли способ применить схему, основанную на типе сообщения. Например, используйте функцию в методе from_json и передайте ключ в эту функцию.