#pyspark
#пыспарк
Вопрос:
Я хочу загрузить несколько файлов паркета, spark.read.load(fingle filer)
тогда это будет успешно. Тем не менее, я spark.read.load(folder/park-*)
, он будет продолжать загружаться в Jupyter, не потерпит неудачу, не приведет к результату. Кроме того, я перепробовал все решения, что-то вроде: spark.read.option().option("rexursiveFileLookup)
.
Кроме того, я старался sc = pyspark.SparkContext(conf-conf)
. sc.textFile(folder)
. Он может загружать файлы, но не может их использовать createOrReplacetempView
.
Комментарии:
1. извините, название неверное, оно должно быть spark.read.load(папка).