Блог

У меня есть простой код, который записывает данные в hdfs в формате csv и parquet, как я могу написать тесты scala здесь, которые могут протестировать нижеприведенный компонент. На самом деле я не могу записать данные в hdfs(в тестах), так как код выполняется в конвейере jules. Любые предложения будут полезны

    df
   .write.format("com.databricks.spark.csv")
   .option("header", "true")
   .mode("append")
   .save(hdfspath)
 

Вы можете записать образец данных со схемой в локальный путь, прочитать его с помощью spark и сравнить ожидаемый и фактический результат.

Вот пример с ScalaTest:

 import org.scalatest.FunSuite
import org.scalatest.Matchers
import org.apache.spark.sql.functions.input_file_name

case class RecordSchema(id: Int, value: String) // define here your real schema

class WriteTest extends FunSuite with Matchers {

    test("test data was written properly") {
        import spark.implicits._
        val path = "local/path/dir"
        val expectedData = List(RecordSchema(1, "dummyValue1"), RecordSchema(2, "dummyValue2"))
        expectedData.toDF
            .write.format("com.databricks.spark.csv")
            .option("header", "true")
            .mode("append")
            .save(path)
        val actualData = spark.read.format("com.databricks.spark.csv")
.load(path)
        
        // test that the data was written as expected
        actualData.as[RecordSchema].collect should contain theSameElementsAs expectedData
    
    }
}
 

Это всего лишь пример, вы можете инкапсулировать компонент записи в отдельный метод (чтобы протестировать его как компонент, а не копировать его код). Пожалуйста, обратите внимание, чтобы записать данные в вашем тесте в новый путь (или удалить содержимое пути заранее в вашем тесте), потому что в противном случае, поскольку он записывает в append режиме, логика этого теста не будет работать.