#scala #apache-spark #import #databricks #txt
#scala #apache-spark #импорт #databricks #txt
Вопрос:
Я пытаюсь импортировать текстовый файл со своего локального компьютера в блокнот databricks (scala). Я захожу в раздел данных и нажимаю «добавить данные». На верхней панели выбран параметр «загрузить файл», я нажимаю «Обзор», чтобы найти файл, а затем «Создать таблицу в записной книжке». Затем я получаю путь к файлу, но когда я пытаюсь получить доступ к данным в другой записной книжке с помощью команды «val file_location = » /FileStore/tables/….txt » Я получаю «java.io.FileNotFoundException: /FileStore/tables/….txt (Такого файла или каталога нет)». Кто-нибудь знает, что я здесь делаю не так и что я должен делать вместо этого?
С уважением
Комментарии:
1. Похоже, он не может читать файлы .txt. Если я изменю строку spark.read.format(«txt») на spark.read.format («csv»), он сможет найти данные (но затем они загружаются как csv-файл, который мне не нужен).
Ответ №1:
Формат должен быть text , а не txt . Смотрите документацию:
scala> val df = spark.read.format("text").load("README.md")
df: org.apache.spark.sql.DataFrame = [value: string]
scala> df.count
res0: Long = 104
Или вы можете использовать spark.read.textFile функцию, которая действительно является ярлыком для этого:
scala> spark.read.textFile("README.md").count
res1: Long = 104