#pyspark #google-drive-api #windows-10 #virtual-drive
Вопрос:
Мой код выглядит следующим образом:
df = spark.read.parquet(output_single_name)
.write
.saveAsTable("filtered")
Он запускается с диска Google, сопоставленного с диском «G:». Операционная система-Windows 10.
Я получаю сообщение об ошибке:
исключение java.io.IOException: Mkdirs не удалось создать file:/G:/My Drive/Colab_Notebooks/Finance/Stock_prediction/download_from_CC/spark-warehouse/filtered/_temporary/0/_temporary/попытка_202110102032126212088686812225137_0001_m_000000_1 (существует=ложь, cwd=файл:/G:/Мой диск/Colab_notebook/Финансы/Stock_prediction/download_from_CC)
Сохранение на обычный локальный диск работает нормально.
Насколько я понимаю — ошибка вызвана добавлением «file:/» в путь с помощью pyspark. Как это можно было предотвратить?