Блог

Мне нужно повторить кадр данных, для каждой строки мне нужно создать идентификатор на основе двух существующих столбцов: имя и пол. В конце концов я добавляю эту новую колонку в df.

 df = pd.read_csv(file, sep='t', dtype=str, na_values="", low_memory=False)
   row_ids = []
   for index, row in df.iterrows():
       if (index % 1000) == 0:
          print("Row node index: {}".format(str(index)))
     
     caculated_id = get_id(row['name', row['sex']])
     row_ids.append(caculated_id)

   df['id'] = row_ids
 

Есть ли способ сделать это намного быстрее, не переходя ряд за рядом?

Добавьте дополнительную информацию на основе предложенных решений:

Используйте apply вместо этого:

 def func(x):
    if (x.name % 1000) == 0:
        print("Row node index: {}".format(str(x.name)))
 
    caculated_id = get_id(row['name', row['sex']])
    return caculated_id

df['id'] = df.apply(func, axis=1)
 

Если вы работаете с большим набором данных, это np.vectorize() должно помочь обойти apply() накладные расходы, что должно быть немного быстрее.

 import numpy as np

v = np.vectorize(lambda x: get_id(x['name'], x['sex']))
df['id'] = v(df)
 

Редактировать:

Чтобы получить еще большую скорость, вы также можете просто передать функцию get_id вместо использования лямбда-функции и передать df.*.values вместо df.* .

 v = np.vectorize(get_id)
df['id'] = v(df['name'].values, df['sex'].values)
 

Вместо того, чтобы печатать обновления о ходе процесса, попробуйте использовать tqdm для отображения прогресса индикатор выполнения.

 import numpy as np 
from tqdm import tqdm

@np.vectorize
def get_id(name, sex):
    global pbar
    ...
    pbar.update(1)
    ...
    return 


global pbar
with tqdm(total=len(df)) as pbar:
    df['id'] = get_id(df['name'].values, df['sex'].values)