Блог

У меня есть несколько CSV-файлов с заголовками, но я обнаружил, что некоторые файлы имеют разный порядок столбцов. Есть ли способ справиться с этим с помощью Spark, где я могу определить порядок выбора для каждого файла, чтобы в главном DF не было несоответствия, при котором col x мог бы иметь значения из col y?

Мое текущее чтение —

  val masterDF = spark.read.option("header", "true").csv(allFiles:_*)
  

Извлеките all file names и сохраните в переменной списка.

• Затем определите schema of со всеми столбцами в нем.

• iterate для каждого файла используется заголовок true, поэтому мы читаем каждый файл отдельно.

• unionA заполните новый фрейм данных существующим фреймом данных.

Example:

 file_lst=['<path1>','<path2>']

from pyspark.sql.functions import *
from pyspark.sql.types import *

#define schema for the required columns
schema = StructType([StructField("column1",StringType(),True),StructField("column2",StringType(),True)])

#create an empty dataframe
df=spark.createDataFrame([],schema)

for i in file_lst:
    tmp_df=spark.read.option("header","true").csv(i).select("column1","column2")
    df=df.unionAll(tmp_df)

#display results
df.show()