Скорость записи Spark Kafka в HDFS регулируется

Post author:admin
Запись опубликована:9 января, 2022
Post category:Вопросы по программированию

#scala #apache-spark #apache-kafka #apache-spark-sql #kafka-consumer-api Вопрос: Я использую пакет spark (не потоковую передачу) для передачи данных из kafka в hdfs. Код довольно прост, val df = spark.read.format("kafka"). option("kafka.bootstrap.servers","abc:9092"). option("subscribe","xyz"). option("startingOffsets","earliest")…

Продолжить чтение