Блог

У меня проблема с большим фреймом данных * около 1 тыс. строк, 180 столбцов. Он начинается с 3 столбцов. Первый столбец содержит идентификаторы. Второй и третий содержат список в каждой строке — они связаны (первая строка — первый элемент из списка из 1-го столбца связан с первым элементом из списка из 2-го столбца:

 ids | fruits | count |

1 | [grape, apple, banana]  | [7.0, 4.0, 3.0]

2 | [mango, banana, strawberry, grape] | [5.0, 8.0, 15.0, 2.0]

3 | [apple, avocado] | [9.0, 1.0]
4 | NaN | NaN
5 | [pummelo] | [12.0]
  

Я хочу использовать элементы списков из столбца ‘fruits’ в качестве имен новых столбцов, которым будут присвоены значения row и fruits. Но никаких дубликатов столбцов, подобных этому:

 ids | grape | apple | banana | mango | strawberry | avocado | pummelo

1 | 7.0 | 4.0 | 3.0 | NaN | NaN | NaN | NaN

2 | 2.0 | NaN | 8.0 | 5.0 | 15.0 | NaN | NaN

3 | NaN | 9.0 | NaN | NaN | NaN | 1.0 | NaN

4 | NaN | NaN | NaN | NaN | NaN | NaN | NaN

5 | NaN | NaN | NaN | NaN | NaN | NaN | 12.0
  

Количество уникальных элементов в наборе (не повторяющаяся сумма всех списков) ‘fruits’ равно 180, и именно поэтому в конце я хочу иметь 180 столбцов.

Проблема в скорости. Я попробовал pandas iterrows (), но когда дело доходит до всего 1kk строк, это становится бесконечной историей. Ниже приведен код, который я уже пробовал.

 #making an example dataframe

import numpy as np
fruit_df = pd. DataFrame(columns=['ids','fruits','count'])
ids = [1,2,3,4,5]
fruits = [['grape', 'apple', 'banana'], ['mango', 'banana', 'strawberry', 'grape'], ['apple', 'avocado'], np.nan, ['pummelo']]
count = [[7.0, 4.0, 3.0],[5.0, 8.0, 15.0, 2.0], [9.0, 1.0], np.nan, [12.0]]


#creating fruits columns in dataframe - this one timing is ok , fine for me (about 15 mins)

fruits_columns=[]
for row in fruit_df['fruits']:
    if type(row)==list:
        fruits_columns.append(row)
    else:
        fruits_columns.append(list())

import itertools
all_fruits = list(itertools.chain(*fruits_columns))

all_fruits = set(all_fruits)

for fruit in all_fruits:
    fruit_df[fruit]=np.nan


#iterating over the data - here is main problem - takes very, very long time.. works well for this tiny dataset but when it comes to 1000000 rows and 180 columns...

def iter_over_rows(data):
    for index, row in data.iterrows():
        if type(row['fruits'])!=float:
            for cat in range(len(row['fruits'])):       
                data[row['fruits'][cat]][index] = row['count'][cat]
  

Я хочу ускорить эту обработку данных. Думал о создании словарей со всеми 180 фруктами в качестве ключей, и они учитываются как значение — но в конечном итоге порядок будет поврежден. Было бы замечательно, если у вас есть какие-либо идеи, как сделать это быстрее. Приветствия!

Это сделает все, что вы хотите, но это приведет к удалению, ids 4 потому что они содержат только NA значения.

Настройка такая же:

 fruit_df = pd. DataFrame(columns=['ids','fruits','count'])
ids = [1,2,3,4,5]
fruits = [['grape', 'apple', 'banana'], ['mango', 'banana', 'strawberry', 'grape'], ['apple', 'avocado'], np.nan, ['
pummelo']]
count = [[7.0, 4.0, 3.0],[5.0, 8.0, 15.0, 2.0], [9.0, 1.0], np.nan, [12.0]]

fruit_df['ids'] = ids
fruit_df['fruits'] = fruits
fruit_df['count'] = count
  

Мы хотим преобразовать ваши строки с помощью list в сложенный ряд (который в основном просто расширяет список до новых строк, сохраняя идентификатор строки:

 fruit_df.set_index(['ids'], inplace=True)
fruit_series = fruit_df.apply(lambda x: pd.Series(x['fruits']), axis=1).stack()
count_series = fruit_df.apply(lambda x: pd.Series(x['count']), axis=1).stack()

final_df = pd.DataFrame()
final_df['Fruits'] = fruit_series
final_df['Counts'] = count_series
print(final_df)
  

Итак, мы видим, что final_df выглядит следующим образом:

            Fruits  Counts
ids
1   0       grape     7.0
    1       apple     4.0
    2      banana     3.0
2   0       mango     5.0
    1      banana     8.0
    2  strawberry    15.0
    3       grape     2.0
3   0       apple     9.0
    1     avocado     1.0
5   0     pummelo    12.0
  

Хорошо, теперь наши строки списка расширены, чтобы соответствовать их идентификатору, но теперь мы видим этот multi_index df, который нам не нужен, поэтому мы удалим его, затем свернем нашу таблицу, превратив идентификаторы в индекс, и создадим столбцы:

 final_df = final_df.reset_index().drop('level_1', axis=1)
final_df = final_df.pivot(index='ids', columns = 'Fruits', values = 'Counts')
print(final_df)
  

ВОЗВРАТ:

 Fruits  apple avocado banana grape mango pummelo strawberry
ids
1         4.0     NaN    3.0   7.0   NaN     NaN        NaN
2         NaN     NaN    8.0   2.0   5.0     NaN       15.0
3         9.0     1.0    NaN   NaN   NaN     NaN        NaN
5         NaN     NaN    NaN   NaN   NaN    12.0        NaN
  

Довольно близко, я надеюсь, это сработает для вас!
Весь объединенный код:

 import pandas as pd
import numpy as np

fruit_df = pd. DataFrame(columns=['ids','fruits','count'])
ids = [1,2,3,4,5]
fruits = [['grape', 'apple', 'banana'], ['mango', 'banana', 'strawberry', 'grape'], ['apple', 'avocado'], np.nan, ['
pummelo']]
count = [[7.0, 4.0, 3.0],[5.0, 8.0, 15.0, 2.0], [9.0, 1.0], np.nan, [12.0]]

fruit_df['ids'] = ids
fruit_df['fruits'] = fruits
fruit_df['count'] = count


fruit_df.set_index(['ids'], inplace=True)
fruit_series = fruit_df.apply(lambda x: pd.Series(x['fruits']), axis=1).stack()
count_series = fruit_df.apply(lambda x: pd.Series(x['count']), axis=1).stack()

final_df = pd.DataFrame()

final_df['Fruits'] = fruit_series
final_df['Counts'] = count_series

final_df = final_df.reset_index().drop('level_1', axis=1)
final_df = final_df.pivot(index='ids', columns = 'Fruits', values = 'Counts')

print(final_df)