Блог

У меня есть следующий набор данных (с разными значениями, просто умноженными на одни и те же строки). Мне нужно объединить столбцы и хэшировать их, в частности, с помощью библиотеки hashlib и предоставленного алгоритма.

Проблема в том, что это занимает слишком много времени, и почему-то у меня такое чувство, что я мог бы векторизовать функцию, но я не эксперт.

Функция довольно проста, и я чувствую, что ее можно векторизовать, но ее трудно реализовать.

Я работаю с миллионами строк, и это занимает несколько часов, даже если хэшировать значения 4 столбцов.

 import pandas as pd
import hashlib

data = pd.DataFrame({'first_identifier':['ALP1x','RDX2b']* 100000,'second_identifier':['RED413','BLU031']* 100000})

def _mutate_hash(row):
    return hashlib.md5(row.sum().lower().encode()).hexdigest()

%timeit data['row_hash']=data.apply(_mutate_hash,axis=1)

 

Использование понимания списка значительно ускорит вашу работу.

Сначала ваш оригинал:

 import pandas as pd
import hashlib

n = 100000
data = pd.DataFrame({'first_identifier':['ALP1x','RDX2b']* n,'second_identifier':['RED413','BLU031']* n})

def _mutate_hash(row):
    return hashlib.md5(row.sum().lower().encode()).hexdigest()

%timeit data['row_hash']=data.apply(_mutate_hash,axis=1)
 

1 loop, best of 5: 26.1 s per loop

Затем в качестве понимания списка:

 data = pd.DataFrame({'first_identifier':['ALP1x','RDX2b']* n,'second_identifier':['RED413','BLU031']* n})

def list_comp(df):
    return pd.Series([ _mutate_hash(row) for row in df.to_numpy() ])

%timeit data['row_hash']=list_comp(data)
 

1 loop, best of 5: 872 ms per loop

…то есть, ускорение ~30 раз.

В качестве проверки: вы можете проверить, что эти два метода дают эквивалентные результаты, поместив первый в «data2», а второй в «data3», а затем проверьте, что они равны:

 data2, data3 = pd.DataFrame([]), pd.DataFrame([])
%timeit data2['row_hash']=data.apply(_mutate_hash,axis=1)
...
%timeit data3['row_hash']=list_comp(data)
...
data2.equals(data3)
True
 

Самый простой прирост производительности достигается за счет использования векторизованных строковых операций. Если вы подготовите строку (в нижнем регистре и кодировании) перед применением хэш-функции, ваша производительность будет намного более разумной.

 data = pd.DataFrame(
    {
        "first_identifier": ["ALP1x", "RDX2b"] * 1000000,
        "second_identifier": ["RED413", "BLU031"] * 1000000,
    }
)



def _mutate_hash(row):
    return hashlib.md5(row).hexdigest()


prepped_data = data.apply(lambda col: col.str.lower().str.encode("utf8")).sum(axis=1)

data["row_hash"] = prepped_data.map(_mutate_hash)
 

Я вижу ~25-кратное ускорение с этим изменением.