Блог

Главная - Вопросы по программированию - Подключение Microsoft SQL Server с помощью pyspark, выдает ошибку:

Подключение Microsoft SQL Server с помощью pyspark, выдает ошибку:

#pyspark #apache-spark-sql

#pyspark #apache-spark-sql

Вопрос:

Пожалуйста, подскажите мне, как подключить и прочитать данные из MS SQL с помощью Pyspark. Ниже приведен мой код и сообщение об ошибке, которое я получаю при попытке загрузить данные с MS SQL Server. Пожалуйста, направьте меня.

 import urllib
import findspark
findspark.init()
from pyspark import SparkConf, SparkContext

from pyspark.sql import SQLContext

APP_NAME = 'My Spark Application'

conf = SparkConf().setAppName("APP_NAME").setMaster("local[4]")
sc = SparkContext(conf=conf)

sqlcontext = SQLContext(sc)

jdbcDF = sqlcontext.read.format("jdbc")
  .option("url", "jdbc:sqlserver:XXXX:1433")
  .option("driver", "com.microsoft.sqlserver.jdbc.SQLServerDriver")
  .option("dbtable", "dbo.XXXX")
  .option("user", "XXXX")
  .option("password", "XXX")
  .load()

****************************** ОШИБКА***************************************

 teway.py", line 1133, in __call__
    answer, self.gateway_client, self.target_id, self.name)
  File "C:spark-2.0.1-bin-hadoop2.6pythonpysparksqlutils.py", line 63, in d
eco
    return f(*a, **kw)
  File "C:spark-2.0.1-bin-hadoop2.6pythonlibpy4j-0.10.3-src.zippy4jprotoco
l.py", line 319, in get_return_value
    format(target_id, ".", name), value)
py4j.protocol.Py4JJavaError: An error occurred while calling o66.load.
: java.lang.NullPointerException
        at org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD$.resolveTable
(JDBCRDD.scala:167)
        at org.apache.spark.sql.execution.datasources.jdbc.JDBCRelation.<init>(J
DBCRelation.scala:117)
        at org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.
createRelation(JdbcRelationProvider.scala:53)
        at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation
(DataSource.scala:330)
        at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:149)
        at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:122)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.
java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAcces
sorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:237)
        at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
        at py4j.Gateway.invoke(Gateway.java:280)
        at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
        at py4j.commands.CallCommand.execute(CallCommand.java:79)
        at py4j.GatewayConnection.run(GatewayConnection.java:214)
        at java.lang.Thread.run(Thread.java:745)

Комментарии:

1. Вы добавили jdbcdrivers в свою папку spark ?

Ответ №1:

Для меня сработало следующее решение:

Включить mssql-jdbc-7.0.0.jre8.jar файл в подпапку jars (например: C:sparkspark-2.2.2-bin-hadoop2.7jars ) или вы можете вставить любой файл jar в зависимости от вашей системы.

Затем используйте следующую команду для подключения к MS SQL server и создания фрейма данных Spark:

dbData = spark.read.jdbc(«jdbc:sqlserver://servername;databaseName:ExampleDB;user:username;password:password»,»tablename»)

Ответ №2:

  1. Скачать mssql-jdbc-x.x.x.jrex.jar файл (https://docs.microsoft.com/en-us/sql/connect/jdbc/download-microsoft-jdbc-driver-for-sql-server?view=sql-server-ver15)
  2. Запустите следующий код:
 import findspark
findspark.init()
from pyspark import SparkContext, SparkConf, SQLContext

appName = "PySpark SQL Server Example - via JDBC"
master = "local[*]"
conf = SparkConf() 
    .setAppName(appName) 
    .setMaster(master) 
    .set("spark.driver.extraClassPath","path/to/mssql-jdbc-x.x.x.jrex.jar")
sc = SparkContext.getOrCreate(conf=conf)
sqlContext = SQLContext(sc)
spark = sqlContext.sparkSession

database = "mydatabase"
table = "dbo.mytable"
user = "username"
password  = "password"

jdbcDF = spark.read.format("jdbc") 
    .option("driver" , "com.microsoft.sqlserver.jdbc.SQLServerDriver") 
    .option("url", f"jdbc:sqlserver://serverip:1433;databaseName={database}") 
    .option("dbtable", "mytable") 
    .option("user", user) 
    .option("password", password) 
    .load()

jdbcDF.show()
Метки: ,