Блог

Главная - Вопросы по программированию - Не удается импортировать spark SQL в Maven

Не удается импортировать spark SQL в Maven

#apache-spark

#apache-spark

Вопрос:

Я пытаюсь импортировать Spark SQL. Я не могу импортировать. Я не уверен в ошибке, которую я совершаю. Я только начинающий ученик.

 package MySource
import java.sql.{DriverManager, ResultSet}
import org.apache.spark.sql.SparkSession
import java.util.Properties

object MyCalc {
  def main(args: Array[String]): Unit = {

    println("This is my first Spark")

    //val sqlContext = new org.apache.spark.sql.SQLContext(sc)

    val spark = SparkSession
      .builder()
      .appName("SparkSQL")
      //.master("YARN")
      .master("local[*]")
      //.enableHiveSupport()
      //.config("spark.sql.warehouse.dir","file:///c:/temp")
      .getOrCreate()
    import spark.sqlContext.implicits._
    }
}

Ошибка: (3, 8) объект SparkSession не является членом пакета org.apache.spark.sql
import org.apache.spark.sql.SparkSession
Ошибка: (15, 17) не найдено: значение SparkSession
val spark = SparkSession

Комментарии:

1. Можете ли вы поделиться своим файлом pom?

2. <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> <версия>2.1.2</версия>

3. <зависимость> <Идентификатор группы>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <версия>2.1.2</версия> <область> предоставляется </область> </ dependency> <зависимость> <groupId>com.microsoft.sqlserver</groupId> <artifactId>mssql-jdbc</artifactId> <версия>6.1.0.jre8</ версия> <область> тест </область> </ зависимость>

4. вот зависимости, которые у меня есть в POM

5. Итак, есть одна деталь. Вы используете spark-core с scala версии 2.10 и spark-sql с scala версии 2.11.