Блог

Я пытаюсь поэкспериментировать с ДАСКОМ. Я перешел по следующим ссылкам:

https://docs.dask.org/en/latest/install.html

Я все успешно установил. Например, я выполнил следующие команды в своей виртуальной среде:

 conda install dask
python -m pip install "dask[complete]"
python -m pip install "dask[array]"       # Install requirements for dask array
python -m pip install "dask[dataframe]"   # Install requirements for dask dataframe
python -m pip install "dask[diagnostics]" # Install requirements for dask diagnostics
python -m pip install "dask[distributed]" # Install requirements for distributed dask
 

Все они показывают, что импорт прошел успешно. Но когда я пытаюсь импортировать файл CSV, он выдает мне ошибки для следующей команды из моего ноутбука Jupyter или интерпретатора Python:

 import dask.dataframe as dd


ImportError                               Traceback (most recent call last)
~/.conda/envs/latest/lib/python3.7/site-packages/dask/dataframe/__init__.py in <module>
      2     from ..base import compute
----> 3     from . import backends, dispatch, rolling
      4     from .core import (

~/.conda/envs/latest/lib/python3.7/site-packages/dask/dataframe/backends.py in <module>
      3 import numpy as np
----> 4 import pandas as pd
      5 from pandas.api.types import (

~/.conda/envs/latest/lib/python3.7/site-packages/pandas/__init__.py in <module>
     54 
---> 55 from pandas.core.api import (
     56     # dtype

~/.conda/envs/latest/lib/python3.7/site-packages/pandas/core/api.py in <module>
     14 from pandas.core.algorithms import factorize, unique, value_counts
---> 15 from pandas.core.arrays import Categorical
     16 from pandas.core.arrays.boolean import BooleanDtype

~/.conda/envs/latest/lib/python3.7/site-packages/pandas/core/arrays/__init__.py in <module>
     10 from pandas.core.arrays.integer import IntegerArray, integer_array
---> 11 from pandas.core.arrays.interval import IntervalArray
     12 from pandas.core.arrays.numpy_ import PandasArray, PandasDtype

~/.conda/envs/latest/lib/python3.7/site-packages/pandas/core/arrays/interval.py in <module>
     44 from pandas.core.indexers import check_array_indexer
---> 45 from pandas.core.indexes.base import ensure_index
     46 

~/.conda/envs/latest/lib/python3.7/site-packages/pandas/core/indexes/base.py in <module>
     76 from pandas.core.ops.invalid import make_invalid_op
---> 77 from pandas.core.strings import StringMethods
     78 

~/.conda/envs/latest/lib/python3.7/site-packages/pandas/core/strings/__init__.py in <module>
     29 
---> 30 from pandas.core.strings.accessor import StringMethods
     31 from pandas.core.strings.base import BaseStringArrayMethods

~/.conda/envs/latest/lib/python3.7/site-packages/pandas/core/strings/accessor.py in <module>
     15 import pandas._libs.lib as lib
---> 16 from pandas._typing import (
     17     DtypeObj,

ImportError: cannot import name 'DtypeObj' from 'pandas._typing' (/home/mdabdullahal.alamin/.conda/envs/latest/lib/python3.7/site-packages/pandas/_typing.py)

The above exception was the direct cause of the following exception:

ImportError                               Traceback (most recent call last)
/tmp/ipykernel_4116022/1671061512.py in <module>
----> 1 import dask.dataframe as dd
      2 # df  = dd.read_csv(file_name)
      3 # print(len(df))

~/.conda/envs/latest/lib/python3.7/site-packages/dask/dataframe/__init__.py in <module>
     58         '  python -m pip install "dask[dataframe]" --upgrade  # or python -m pip install'
     59     )
---> 60     raise ImportError(msg) from e

ImportError: Dask dataframe requirements are not installed.

Please either conda or pip install as follows:

  conda install dask                     # either conda install
  python -m pip install "dask[dataframe]" --upgrade  # or python -m pip install
 

Я даже деактивирую и повторно активирую виртуальную среду после установки dask. Но все равно это не работает и выдает ошибку:

 ImportError: Dask dataframe requirements are not installed.
 

Это были очень странные проблемы. Я до сих пор не понимаю, почему это могло произойти. У меня была виртуальная среда conda, в которой я занимался анализом данных с помощью Pandas и Numpy, а позже я установил DASK в этой среде.

Все эти команды установки были выполнены успешно. Но по какой-то причине это приводило меня к ошибке. Я перезапустил, деактивировал и повторно активировал среду, но это не сработало. Позже я просто обновил среду Conda, и она начала работать.

 conda -y update --all
 

Это устранило проблему. Это не дало мне никаких ошибок при установке DASK, но внутренне, возможно, какая-то библиотека не обновлялась должным образом.