#apache-spark #pyspark #apache-spark-sql #spark-streaming
#apache-spark #pyspark #apache-spark-sql #spark-streaming
Вопрос:
Я новичок в Pyspark. Я пытался запустить код pyspark. Я запустил код с именем «time.py » из-за чего pyspark сейчас не может запускаться. Я получаю приведенную ниже ошибку.
Traceback (most recent call last):
File "/home/VAL_CODE/test.py", line 1, in <module>
from pyspark import SparkContext,HiveContext,SparkConf
File "/opt/cloudera/parcels/CDH-6.3.3-1.cdh6.3.3.p0.1796617/lib/spark/python/lib/pyspark.zip/pyspark/__init__.py", line 51, in <module>
File "/opt/cloudera/parcels/CDH-6.3.3-1.cdh6.3.3.p0.1796617/lib/spark/python/lib/pyspark.zip/pyspark/context.py", line 24, in <module>
File "/usr/lib64/python2.7/threading.py", line 14, in <module>
from time import time as _time, sleep as _sleep
File "/home/VAL_CODE/time.py", line 1, in <module>
ImportError: cannot import name SparkContext
20/08/13 19:04:16 INFO util.ShutdownHookManager: Shutdown hook called
20/08/13 19:04:16 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-f104da1f-ba70-4c45-8a19-6ffc55b609aa
Ошибка в том, что скрипт «/usr/lib64/python2.7/threading.py «ссылается на локальный скрипт»/home/VAL_CODE/time.py «который я создал. Теперь я удалил «/home/VAL_CODE/time.py » скрипт. Но все еще сталкиваюсь с проблемой при запуске нового кода «/home/VAL_CODE/test.py «. Пожалуйста, помогите решить.
Комментарии:
1. вы также удалили
time.pyc
?2. ДА. Я удалил это, и все работало нормально. Спасибо @Alex Ott