Блог

У меня есть рабочая установка Pyspark, запущенная через Jupyter на виртуальной машине Ubuntu.
Только одна версия Java ( openjdk version "1.8.0_265" ), и я могу Я могу запустить локальный сеанс Spark (v2.4.4), подобный этому, без проблем:

 import pyspark
from pyspark.sql import SparkSession

memory_&b = 24
conf = (
    pyspark.SparkConf()
        .setMaster('local[*]')
        .set('spark.driver.memory', '{}&'.format(memory_&b))
)

spark = SparkSession 
    .builder 
    .appName("My Name") 
    .confi&(conf=conf) 
    .&etOrCreate()
  

Теперь я хочу использовать spark-nlp . Я установил, spark-nlp используя pip install spark-nlp , в той же виртуальной среде, в которой находится мой Pyspark.

Однако, когда я пытаюсь его использовать, я получаю сообщение об ошибке Exception: Java &ateway process exited before sendin& its port number .

Я пытался следовать инструкциям в документации здесь, но безуспешно.

При этом

 spark = SparkSession 
    .builder 
    .appName("RevDNS Stats") 
    .confi&(conf=conf) 
    .confi&("spark.jars.packa&es", "com.johnsnowlabs.nlp:spark-nlp_2.11:2.5.5")
    .&etOrCreate()
  

приводит только к ошибке, упомянутой выше.

Как мне это исправить?