Блог

Главная - Вопросы по программированию - Как я могу устранить ошибку значения при попытке использовать Dask Describe?

Как я могу устранить ошибку значения при попытке использовать Dask Describe?

#python #dataframe #dask #dask-dataframe

#python #фрейм данных #dask #dask-dataframe

Вопрос:

Я работаю с набором данных, размер которого превышает 10 ГБ. Мне удалось импортировать его во фрейм данных dask с помощью кода:

 df = dd.read_csv('FileName.csv', dtype = dt, parse_dates = ['date'])
dt = ... # a list of columns names with their data type such as 'objects' and 'floats'.

Я пытался запустить .describe() функцию, но я продолжаю получать ошибку:
Ошибка значения: не найдено нетривиальных массивов

Кто-нибудь знает, как преодолеть эту ошибку?

Комментарии:

1. Не уверен, почему вы получаете сообщение об ошибке, но не могли бы вы попробовать df.describe(percentiles_method="tdigest", include=dt).compute() . Это должно избежать текущей ошибки.

2. Кроме того, describe работает только с числовыми столбцами и столбцами даты и времени.

3. @kate-melnykova спасибо, Кейт, ты знаешь, как я мог бы исключить все типы данных, связанные с объектом?

Ответ №1:

Как упоминала @kate-melnykova в комментариях, описание работает только с числовыми столбцами и столбцами даты и времени.