Блог

У меня есть таблица postgresql объемом 7 ГБ, которую я хочу прочитать в python и провести некоторый анализ. Я не могу использовать для этого Pandas, потому что он больше, чем память на моей локальной машине. Поэтому я хотел сначала попробовать прочитать таблицу в фрейме данных Dask, выполнить некоторую агрегацию и переключиться обратно на Pandas для последующего анализа. Для этого я использовал приведенные ниже строки кода.

 df = dd.read_sql_table('table_xyz', uri = "postgresql psycopg2://user:pwd@remotehost/dbname", index_col = 'column_xyz', schema = 'private')
 

Index_col, т. е. «column_xyz», индексируется в базе данных. Это работает, но когда я выполняю действие, например агрегацию, для возврата результата требуется целая вечность (например, час).

 avg = df.groupby("col1").col2.mean().compute()
 

Я понимаю, что Dask не так быстр, как Панды, тем более, когда я работаю на одной машине, а не на кластере. Мне интересно, правильно ли я использую Dask? Если нет, то какая более быстрая альтернатива для выполнения анализа больших таблиц, которые не помещаются в памяти, с использованием Python.

Если ваши данные помещаются в оперативную память вашей машины, вам лучше использовать Панд. В некоторых случаях Даск не превзойдет Панд. В качестве альтернативы вы можете поиграть с размером куска и посмотреть, улучшится ли ситуация. Лучший способ разобраться в этом-взглянуть на панель инструментов диагностики dask и выяснить, почему dask так долго. Это поможет вам принять гораздо более обоснованное решение.