Блог

Я нахожусь в Anaconda в Windows 10; Я установил через:

 conda install -c anaconda dask
conda install -c conda-forge modin
conda update conda
conda update anaconda
conda update dask
conda install -c conda-forge pandas=1.0.5  # this will also download modin 0.7.4-py_0 --> 0.8.0-py_0
  

Итак, рассмотрим следующий пример:

 #!/usr/bin/env python3

import io

USEDASK=False

if not USEDASK:
  import pandas as pd
else:
  from dask.distributed import Client # SO:48067066
  client = Client(processes=False)  # create scheduler and worker automatically
  #os.environ["MODIN_ENGINE"] = "dask"  # Modin will use Dask
  import modin.pandas as pd

my_csv_str = """Time[s], Channel 0
0.000000000000000, -0.736680805683136
0.000008000000000, -0.726485192775726
0.000016000000000, -0.721387386322021
0.000024000000000, -0.711191773414612
0.000032000000000, -0.700996160507202
0.000040000000000, -0.690800547599792
0.000048000000000, -0.670409321784973
0.000056000000000, -0.655115902423859
"""
my_csv_io = io.StringIO()
my_csv_io.write(my_csv_str)
my_csv_io.seek(0)

my_df = pd.read_csv(my_csv_io)
my_df.index = pd.to_timedelta(my_df.iloc[:,0], unit='s')
print(my_df)
  

Когда у меня есть USEDASK=False , все работает так, как ожидалось.

Когда у меня есть USEDASK=True , у меня возникает следующий сбой:

 python testtest.py
UserWarning: The Dask Engine for Modin is experimental.
UserWarning: Parameters provided defaulting to pandas implementation.
To request implementation, send an email to feature_requests@modin.org.
Traceback (most recent call last):
  File "testtest.py", line 30, in <module>
    my_df.index = pd.to_timedelta(my_df.iloc[:,0], unit='s')
  File "C:ProgramDataAnaconda3libsite-packagespandascoretoolstimedeltas.py", line 102, in to_timedelta
    return _convert_listlike(arg, unit=unit, errors=errors)
  File "C:ProgramDataAnaconda3libsite-packagespandascoretoolstimedeltas.py", line 140, in _convert_listlike
    value = sequence_to_td64ns(arg, unit=unit, errors=errors, copy=False)[0]
  File "C:ProgramDataAnaconda3libsite-packagespandascorearraystimedeltas.py", line 961, in sequence_to_td64ns
    data[mask] = iNaT
  File "C:ProgramDataAnaconda3libsite-packagesmodinpandasseries.py", line 337, in __setitem__
    if key not in self.keys():
  File "C:ProgramDataAnaconda3libsite-packagespandascoreindexesrange.py", line 338, in __contains__
    hash(key)
TypeError: unhashable type: 'Series'
  

Есть ли какой-либо способ заставить этот код работать с использованием modin dask?

Это не очень хорошее решение, но следует использовать обходной путь:

 my_df.index = pd.to_timedelta(my_df.iloc[:,0].values, unit='s')
  

это работает как для USEDASK True, так и для False