#pyspark
#пыспарк
Вопрос:
Я хочу загрузить несколько файлов паркета, spark.read.load(fingle filer) тогда это будет успешно. Тем не менее, я spark.read.load(folder/park-*) , он будет продолжать загружаться в Jupyter, не потерпит неудачу, не приведет к результату. Кроме того, я перепробовал все решения, что-то вроде: spark.read.option().option("rexursiveFileLookup) .
Кроме того, я старался sc = pyspark.SparkContext(conf-conf) . sc.textFile(folder) . Он может загружать файлы, но не может их использовать createOrReplacetempView .
Комментарии:
1. извините, название неверное, оно должно быть spark.read.load(папка).