Блог

Главная - Вопросы по программированию - Преобразование таблицы на платформе Dataiku в фрейм данных PySpark: Py4JException: Метод classForName([класс java.lang.Строка]) не существует

Преобразование таблицы на платформе Dataiku в фрейм данных PySpark: Py4JException: Метод classForName([класс java.lang.Строка]) не существует

#python #pyspark #dataiku

Вопрос:

Я только начинаю работать с PySpark (и с Dataiku платформы конвейера), и отладка как с помощью Dataiku, так и с помощью документации PySpark была довольно сложной задачей. После долгих поисков трудно сказать, где на самом деле лучше всего устранить проблему. Поэтому я хочу преобразовать таблицу из Redshift/SQL-сервера, которую я определил в своем рабочем процессе Dataiku, во фрейм данных PySpark. Очень просто, верно? Хорошо…

Все эти коды создаются по умолчанию при нажатии на рецепт PySpark.

Первый импорт:

 import pyspark
import dataiku
from dataiku import spark as dkuspark
from pyspark import SparkContext
from pyspark.sql import SQLContext

Затем я создаю необходимый контекст:

 sc = SparkContext.getOrCreate()
sqlContext = SQLContext(sc)

Вот где возникает проблема:

 some_table = dataiku.Dataset("some_table")
df = dkuspark.get_dataframe(sqlContext, some_table)

После запуска этого последнего метода «get_dataframe» Py4J теперь выдает мне ошибку:

 An error occurred while calling o27.classForName. Trace:
py4j.Py4JException: Method classForName([class java.lang.String]) does not exist
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318)
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:326)
    at py4j.Gateway.invoke(Gateway.java:274)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:238)
    at java.lang.Thread.run(Thread.java:748)

Я провел здесь пару часов, пытаясь понять, что могло произойти, и, похоже, у Пыспарка возникли некоторые проблемы с чтением в типе столбца? Или я не уверен. Я понятия не имею, как это будет переведено на платформу PySpark или Dataiku, поэтому любая помощь будет огромной.

Ответ №1:

Это ручная установка DSS или онлайн-установка Dataiku? Если это ручная установка, вам необходимо выполнить интеграцию Spark: https://doc.dataiku.com/dss/latest/hadoop/spark.html

Метки: