#pyspark #databricks #databricks-connect
#pyspark #databricks #databricks-connect
Вопрос:
Я запускаю Pycharm на своем MacBook.
Настройки клиента: интерпретатор Python -> Python 3.7 (dtabricks-connect-6.4)
Настройки кластера: Версия среды выполнения Databricks -> 6.4 (включает Apache Spark 2.4.5, Scala 2.11)
Он работал хорошо в течение нескольких месяцев, но внезапно, без каких-либо обновлений, я больше не могу запускать свой скрипт python из Pycharm для кластера databricks. Ошибка…
Caused by: `java.lang.IllegalArgumentException: The cluster is running server version `dbr-6.4` but this client only supports Set(dbr-5.5)....`
Я перезапустил Pycharm, я вернулся и для интерпретатора перезапустил кластер и даже перезапустил свой MacBook, но это не помогло. Сообщение об ошибке просто ложное, потому что и кластер, и клиент используют ОДНУ и ТУ ЖЕ версию. Я вижу, что когда я выполняю свой скрипт на python, кластер запускается, но в конце происходит сбой.
pyenv activate databricks-connect-6-4
pip freeze
Cython==0.29.21
databricks-connect==6.4.0
numpy==1.19.2
pandas==1.0.1
py4j==0.10.7
pyarrow==0.13.0
pycountry==20.7.3
python-dateutil==2.8.1
pytz==2020.1
six==1.15.0
Комментарии:
1. Я деинсталлировал и установил databricks-connect== 6.4, но это не помогло. Я попытался выполнить тест databricks-connect с тем же результатом. Мне кажется, что сам databricks внес некоторые изменения, не заметив нас
Ответ №1:
Похоже, что это было вызвано некоторыми внутренними изменениями на стороне сервера, и это не позволяет databricks-connect работать. Вы всегда можете отключить эту проверку, установив переменной среды DEBUG_IGNORE_VERSION_MISMATCH значение 1 ( export DEBUG_IGNORE_VERSION_MISMATCH=1 в консоли перед выполнением databricks-connect test ) — вы также можете установить эту переменную среды в PyCharm.
Обновление: это должно быть исправлено с помощью Databricks Connect 6.4.2, который был только что выпущен.
Ответ №2:
Спасибо, что подняли этот вопрос. Команда Databricks-Connect признала эту проблему, и мы работаем над исправлением для решения этой проблемы. Будет держать вас в курсе. Тем временем вы можете использовать DEBUG_IGNORE_VERSION_MISMATCH , как указал Алекс.
Обновление: для устранения этой проблемы выпущен совместимый клиент db-connect: версия 6.4.2 (https://pypi.org/project/databricks-connect/6.4.2 /, установить с помощью: pip install databricks-connect==6.4.2).