Ошибка выполнения pyarrow не установлена

#python #parquet #pyarrow

#python #паркет #pyarrow

Вопрос:

Я устанавливаю pyarrow 0.13.0 в виртуальной среде на Ubuntu 16.04 с помощью pip, и он был успешно установлен, но всякий раз, когда я его вызываю, я получаю сообщение об ошибке ниже.

 ---------------------------------------------------------------------------
ModuleNotFoundError                       Traceback (most recent call last)
~/anaconda3/lib/python3.7/site-packages/dask/utils.py in import_required(mod_name, error_msg)
     90     try:
---> 91         return import_module(mod_name)
     92     except ImportError:

~/anaconda3/lib/python3.7/importlib/__init__.py in import_module(name, package)
    126             level  = 1
--> 127     return _bootstrap._gcd_import(name[level:], package, level)
    128 

~/anaconda3/lib/python3.7/importlib/_bootstrap.py in _gcd_import(name, package, level)

~/anaconda3/lib/python3.7/importlib/_bootstrap.py in _find_and_load(name, import_)

~/anaconda3/lib/python3.7/importlib/_bootstrap.py in _find_and_load_unlocked(name, import_)

ModuleNotFoundError: No module named 'pyarrow'

During handling of the above exception, another exception occurred:

RuntimeError                              Traceback (most recent call last)
<ipython-input-2-6c07c44edca9> in <module>
      1 df = dd.read_parquet(
      2     'sample_10percent_value_1000_only.parquet', engine='pyarrow',
----> 3     columns=['argument_0', 'func_name', 'symbol', 'location', 'script_url']
      4 )
      5 df.head()

~/anaconda3/lib/python3.7/site-packages/dask/dataframe/io/parquet.py in read_parquet(path, columns, filters, categories, index, storage_options, engine, infer_divisions)
   1141         paths = path
   1142     else:
-> 1143         read = get_engine(engine)['read']
   1144         fs, fs_token, paths = get_fs_token_paths(
   1145             path, mode='rb',

~/anaconda3/lib/python3.7/site-packages/dask/dataframe/io/parquet.py in get_engine(engine)
   1035 
   1036     elif engine == 'pyarrow':
-> 1037         pa = import_required('pyarrow', "`pyarrow` not installed")
   1038 
   1039         if LooseVersion(pa.__version__) < '0.8.0':

~/anaconda3/lib/python3.7/site-packages/dask/utils.py in import_required(mod_name, error_msg)
     91         return import_module(mod_name)
     92     except ImportError:
---> 93         raise RuntimeError(error_msg)
     94 
     95 

RuntimeError: `pyarrow` not installed `
  

Комментарии:

1. Пожалуйста, попробуйте воссоздать свою среду и опубликовать шаги для воспроизведения этого. Поскольку кажется, что вы используете conda, не используйте virtualenv, но conda create и conda install для создания новых сред.

2. @ Uwe L. korn Я использую conda для создания среды, а не virtualenv, и я также использую conda для установки перед использованием pip, но я все еще получаю ту же ошибку.

3. пожалуйста, добавьте команды к вопросу. Без этого предоставление помощи практически невозможно

Ответ №1:

вы активировали / переключились на среду, в которой вы установили? или вы случайно пытаетесь импортировать из базового env? просто быстрая мысль…

 # windows: 
activate env_name
# linux/mac:
source activate env_name