можно ли избежать второго обмена, когда spark соединяет два набора данных с помощью joinWith?
#apache-spark #join #apache-spark-dataset #catalyst-optimizer #apache-искра #Присоединиться #apache-spark-набор данных #катализатор-оптимизатор Вопрос: Для следующего фрагмента кода: case class SomeRow(key: String, value: String) spark.conf.set("spark.sql.autoBroadcastJoinThreshold", -1) val ds1 = Seq(SomeRow("A", "1")).toDS().repartition(col("key")) val ds2 =…