Блог

У меня есть фрейм данных dask со столбцом «is_internal» типа int64. Я хочу обновить это аналогично инструкции SQL case:

  CASE WHEN ltrim(rtrim(is_internal)) = '1' then 'Internal' else 'External' END as type
  

импорт данных в виде:

 import pandas as pd 
import dask.dataframe as dd
import time
t=time.process_time()
df_train = dd.read_csv(r"C:test.bcp", sep='t', sample=25000000)
  

Обычно в pandas я бы сделал что-то похожее на это, но это занимает много места, в котором я ограничен.

 df_train.loc[df_train['is_internal'] == 1, 'type'] = 'internal'
df_train.loc[df_train['is_internal'] == 0, 'type'] = 'external'
  

Каков наилучший метод, который не будет использовать много места / памяти с помощью dask?

Вы не должны изменять объекты Dask. Вы можете достичь того, чего хотите, используя этот .where метод. К сожалению, многие находят его формулировку запутанной; но во многих случаях, когда вы хотели бы напрямую использовать pandas для продолжения, вы можете обернуть свой код с map_partition :

 def simple_where(df):
    df.loc[df['is_internal'] == 1, 'type'] = 'internal'
    df.loc[df['is_internal'] == 0, 'type'] = 'external'
    return df

df_out = df_train.map_partitions(simple_where)