Блог

Главная - Вопросы по программированию - Создание дельта-таблицы с использованием csv-файла

Создание дельта-таблицы с использованием csv-файла

#python

#python

Вопрос:

Я пытаюсь создать дельта-таблицу в databricks. Я использую эту ссылку в качестве ссылки для обучения.Здесь упоминается, что для всех типов файлов мне нужно считывать файлы в фрейм данных и записывать в дельта-формате :. Итак, я написал следующий код на python

 import pandas as pd
df=pd.read_csv('my file path/data.csv')
df.write.format("delta").save("/mnt/delta/df")
spark.sql("CREATE TABLE df USING DELTA LOCATION '/mnt/delta/df/'")

Но я получил сообщение об ошибке

 'DataFrame' object has no attribute 'write'

Не могли бы вы помочь мне решить проблему?

Комментарии:

1. Почему бы не выгрузить данные непосредственно в SQL с помощью df.to_sql() ?

2. @S3DEV, в настоящее время у меня нет доступа к какой-либо базе данных в databricks. Поэтому я решил использовать дельта-таблицу

3. вы нашли решение для своего ответа?

Ответ №1:

Надеюсь, это поможет

 myCSV= spark.read.csv("/path/to/input/data",header=True,sep=","); 
myCSV.write.format("delta").mode("overwrite").option('overwriteSchema','true').save("/mnt/delta/Employee") 
spark.sql("CREATE TABLE employee USING DELTA LOCATION '/mnt/delta/Employee/'")