Структурированная потоковая передача Apache Spark — не запись в местоположение контрольной точки

#apache-spark-sql #spark-streaming #spark-structured-streaming #azure-databricks #spark-checkpoint #apache-spark-sql #искровая потоковая передача #spark-structured-streaming #azure-databricks #spark-контрольная точка Вопрос: Мы используем структурированную потоковую передачу в среде Databricks, каждый раз, когда мы запускаем эту программу -…

#apache-spark #amazon-s3 #apache-kafka #spark-structured-streaming Вопрос: Вопрос Как достичь идемпотенции (одинакового порядка событий) между обработкой темы Кафки и резервным копированием it S3 с помощью структурированной потоковой передачи Spark? См # QUESTION:…

#pyspark #spark-structured-streaming Вопрос: Я пишу непрерывное приложение с помощью Apache Spark. В случае структурированной потоковой передачи я пытаюсь прочитать из дельта-таблицы, выполнить агрегацию потоковой передачи по времени события через временное…

#scala #apache-spark #apache-kafka #spark-structured-streaming Вопрос: У меня есть тема кафки с несколькими типами событий. Моя ценность событий выглядит так: type|name|value1|value2|value3 type|name|value1|value2|value3|value4 type|name|value1|value2 Я использовал структурированную потоковую передачу для чтения Кафки.…

#apache-spark #spark-streaming Вопрос: Я пытаюсь выполнить тривиальное задание Spark со структурированным потоковым программированием, я бы хотел получать данные из сокета и видеть их распечатанными на выходе каждые 10 секунд from…

#apache-spark #spark-structured-streaming Вопрос: Приложение ведет потоковую передачу из темы кафки, которая получает сообщения с другой структурой. Единственный способ узнать, какая это структура, - это использовать ключ сообщения. Есть ли способ…

#apache-spark #pyspark #apache-spark-sql #spark-structured-streaming Вопрос: Использование структурированной потоковой передачи spark для потоковой передачи данных в реальном времени - я использую статический фрейм данных для обогащения фрейма потоковых данных. Теперь, основываясь…

#apache-spark #apache-kafka #spark-structured-streaming #kafka-producer-api Вопрос: Я использую структурированную потоковую передачу Spark, чтобы отправить сообщение кафке. Структурированный потоковый поток чтения из другого кафки, я преобразовал запись в список объектов и использовал…

#scala #apache-spark #apache-kafka #streaming #spark-structured-streaming Вопрос: Не удается устранить проблему после отправки структурированного потокового задания spark для чтения из кафки. Пример кода задания spark: object KafkaStructuredStreaming { def main(args: Array[String]):…

#scala #apache-spark #hadoop #spark-structured-streaming Вопрос: У меня есть потоки файлов rate и csv, которые объединяются по значениям rat и идентификатору файла csv: def readFromCSVFile(path: String)(implicit spark: SparkSession): DataFrame = {…