Блог

я пытаюсь передавать данные в spark и загружать их в vertica, в каждой статье, на которую я ссылаюсь, говорится о том, что hdfs сначала сохраняет данные из DF или RDD, есть ли способ переместить данные без использования Hadoop и любого дополнительного хранилища данных

Не с помощью соединителя Vertica для Apache Spark, к сожалению, для этого соединителя требуется, чтобы данные сначала записывались в HDFS.

Вы можете сохранять данные непосредственно в таблицу соединений JDBC из Spark с помощью df.write() .

 import org.apache.spark.sql.{SQLContext, SaveMode}

df.write
  .mode(SaveMode.Append)
  .format("jdbc")
  .option("url", "jdbc:vertica://vertica:5433/database")
  .option("dbtable", "schema.table")
  .option("user", "dbadmin")
  .option("password", "password")
  .save()
  

У меня это сработало при использовании Spark версии 2.2.1. Vertica версии 9.1.