Блог

• Сбой записи в Spark connector с java.lang.IllegalArgumentException: udtId is not a field defined in this definition ошибкой при использовании имен полей, чувствительных к регистру
• Мне нужны поля в таблице Cassandra для сохранения регистра. Поэтому я использовал кавычки для их создания.

Моя схема Cassandra

 CREATE TYPE my_keyspace.my_udt (
  "udtId" text,
  "udtValue" text
);

CREATE TABLE my_keyspace.my_table (
  "id" text PRIMARY KEY,
  "someCol" text,
  "udtCol" list<frozen<my_udt>>
);
  

Моя схема Spark DataFrame такова

 root
 |-- id: string (nullable = true)
 |-- someCol: string (nullable = true)
 |-- udtCol: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- udtId: string (nullable = true)
           |-- udtValue: string (nullable = true)
  

• Есть ли какие-либо другие варианты, позволяющие заставить эту запись работать, кроме определения моего udt с именами в нижнем регистре? Использование их в нижнем регистре заставило бы меня вызывать код управления обращениями везде, где это используется, и я хотел бы избежать этого?
• Поскольку я не смог успешно записать, я все же попробовал read? Является ли это проблемой и для чтения?

Вам необходимо перейти на Spark Cassandra Connector 2.5.0 — я не могу найти конкретную фиксацию, которая исправляет это, или конкретную Jira, в которой упоминается это — я подозреваю, что сначала это было исправлено в версии DataStax, а затем выпущено как часть слияния, объявленного здесь.

Вот как это работает в SCC 2.5.0 Spark 2.4.6, в то время как в SCC 2.4.2 Spark 2.4.6 происходит сбой:

 scala> import org.apache.spark.sql.cassandra._
import org.apache.spark.sql.cassandra._

scala> val data = spark.read.cassandraFormat("my_table", "test").load()
data: org.apache.spark.sql.DataFrame = [id: string, someCol: string ... 1 more field]

scala> val data2 = data.withColumn("id", concat(col("id"), lit("222")))
data2: org.apache.spark.sql.DataFrame = [id: string, someCol: string ... 1 more field]

scala> data2.write.cassandraFormat("my_table", "test").mode("append").save()