Блог

У меня есть файл, зашифрованный с помощью симметричного алгоритма AES128. Как настроить в spark для декодирования файла?

Я попытался загрузить файл, как показано ниже, а затем вызвать пользовательскую функцию для дешифрования. Но дешифрование всегда завершается неудачей. Похоже, что зашифрованное двоичное содержимое каким-то образом изменяется после загрузки через spark. Как этого избежать?

 val dec = spark.sparkContext.textFile("inputFile")
dec.coalesce(1, shuffle=true).saveAsTExtFile("path")
 

Исключение при расшифровке файла сохранения

 Input length must be multiple of 16 when decrypting with padded cipher
java.lang.SecurityException: Input length must be multiple of 16 when decrypting with padded cipher
 

Насколько я знаю, у самой Spark нет API для дешифрования, поэтому вам придется выполнять построчную (или ячейку за ячейкой в случае dataframes) расшифровку.

С точки зрения кода вы можете сделать что-то вроде приведенного ниже,

Предполагая текстовый файл из примера,

 val sparkSession = ???
import sparkSession.implicits._

// Read text file as data set
val df = sparkSession.read.text("/path/to/files/").as[String]

// Create UDF for decryption
import org.apache.spark.sql.functions.udf
import org.apache.spark.sql.expressions.UserDefinedFunction

def decrypt_text: UserDefinedFunction = {
udf((str: String) => {
 // Decryption logic
})
}

// Use UDF to decrypt
val decDF = df.withColumn("decrpytedText", decrypt_text(col("value")))

// View results
decDF.show(false)