#python #python-3.x #pandas #list #time
#python #python-3.x #pandas #Список #время
Вопрос:
У меня проблема с большим фреймом данных * около 1 тыс. строк, 180 столбцов. Он начинается с 3 столбцов. Первый столбец содержит идентификаторы. Второй и третий содержат список в каждой строке — они связаны (первая строка — первый элемент из списка из 1-го столбца связан с первым элементом из списка из 2-го столбца:
ids | fruits | count |
1 | [grape, apple, banana] | [7.0, 4.0, 3.0]
2 | [mango, banana, strawberry, grape] | [5.0, 8.0, 15.0, 2.0]
3 | [apple, avocado] | [9.0, 1.0]
4 | NaN | NaN
5 | [pummelo] | [12.0]
Я хочу использовать элементы списков из столбца ‘fruits’ в качестве имен новых столбцов, которым будут присвоены значения row и fruits. Но никаких дубликатов столбцов, подобных этому:
ids | grape | apple | banana | mango | strawberry | avocado | pummelo
1 | 7.0 | 4.0 | 3.0 | NaN | NaN | NaN | NaN
2 | 2.0 | NaN | 8.0 | 5.0 | 15.0 | NaN | NaN
3 | NaN | 9.0 | NaN | NaN | NaN | 1.0 | NaN
4 | NaN | NaN | NaN | NaN | NaN | NaN | NaN
5 | NaN | NaN | NaN | NaN | NaN | NaN | 12.0
Количество уникальных элементов в наборе (не повторяющаяся сумма всех списков) ‘fruits’ равно 180, и именно поэтому в конце я хочу иметь 180 столбцов.
Проблема в скорости. Я попробовал pandas iterrows (), но когда дело доходит до всего 1kk строк, это становится бесконечной историей. Ниже приведен код, который я уже пробовал.
#making an example dataframe
import numpy as np
fruit_df = pd. DataFrame(columns=['ids','fruits','count'])
ids = [1,2,3,4,5]
fruits = [['grape', 'apple', 'banana'], ['mango', 'banana', 'strawberry', 'grape'], ['apple', 'avocado'], np.nan, ['pummelo']]
count = [[7.0, 4.0, 3.0],[5.0, 8.0, 15.0, 2.0], [9.0, 1.0], np.nan, [12.0]]
#creating fruits columns in dataframe - this one timing is ok , fine for me (about 15 mins)
fruits_columns=[]
for row in fruit_df['fruits']:
if type(row)==list:
fruits_columns.append(row)
else:
fruits_columns.append(list())
import itertools
all_fruits = list(itertools.chain(*fruits_columns))
all_fruits = set(all_fruits)
for fruit in all_fruits:
fruit_df[fruit]=np.nan
#iterating over the data - here is main problem - takes very, very long time.. works well for this tiny dataset but when it comes to 1000000 rows and 180 columns...
def iter_over_rows(data):
for index, row in data.iterrows():
if type(row['fruits'])!=float:
for cat in range(len(row['fruits'])):
data[row['fruits'][cat]][index] = row['count'][cat]
Я хочу ускорить эту обработку данных. Думал о создании словарей со всеми 180 фруктами в качестве ключей, и они учитываются как значение — но в конечном итоге порядок будет поврежден. Было бы замечательно, если у вас есть какие-либо идеи, как сделать это быстрее. Приветствия!
Ответ №1:
Это сделает все, что вы хотите, но это приведет к удалению, ids 4
потому что они содержат только NA
значения.
Настройка такая же:
fruit_df = pd. DataFrame(columns=['ids','fruits','count'])
ids = [1,2,3,4,5]
fruits = [['grape', 'apple', 'banana'], ['mango', 'banana', 'strawberry', 'grape'], ['apple', 'avocado'], np.nan, ['
pummelo']]
count = [[7.0, 4.0, 3.0],[5.0, 8.0, 15.0, 2.0], [9.0, 1.0], np.nan, [12.0]]
fruit_df['ids'] = ids
fruit_df['fruits'] = fruits
fruit_df['count'] = count
Мы хотим преобразовать ваши строки с помощью list в сложенный ряд (который в основном просто расширяет список до новых строк, сохраняя идентификатор строки:
fruit_df.set_index(['ids'], inplace=True)
fruit_series = fruit_df.apply(lambda x: pd.Series(x['fruits']), axis=1).stack()
count_series = fruit_df.apply(lambda x: pd.Series(x['count']), axis=1).stack()
final_df = pd.DataFrame()
final_df['Fruits'] = fruit_series
final_df['Counts'] = count_series
print(final_df)
Итак, мы видим, что final_df выглядит следующим образом:
Fruits Counts
ids
1 0 grape 7.0
1 apple 4.0
2 banana 3.0
2 0 mango 5.0
1 banana 8.0
2 strawberry 15.0
3 grape 2.0
3 0 apple 9.0
1 avocado 1.0
5 0 pummelo 12.0
Хорошо, теперь наши строки списка расширены, чтобы соответствовать их идентификатору, но теперь мы видим этот multi_index df, который нам не нужен, поэтому мы удалим его, затем свернем нашу таблицу, превратив идентификаторы в индекс, и создадим столбцы:
final_df = final_df.reset_index().drop('level_1', axis=1)
final_df = final_df.pivot(index='ids', columns = 'Fruits', values = 'Counts')
print(final_df)
ВОЗВРАТ:
Fruits apple avocado banana grape mango pummelo strawberry
ids
1 4.0 NaN 3.0 7.0 NaN NaN NaN
2 NaN NaN 8.0 2.0 5.0 NaN 15.0
3 9.0 1.0 NaN NaN NaN NaN NaN
5 NaN NaN NaN NaN NaN 12.0 NaN
Довольно близко, я надеюсь, это сработает для вас!
Весь объединенный код:
import pandas as pd
import numpy as np
fruit_df = pd. DataFrame(columns=['ids','fruits','count'])
ids = [1,2,3,4,5]
fruits = [['grape', 'apple', 'banana'], ['mango', 'banana', 'strawberry', 'grape'], ['apple', 'avocado'], np.nan, ['
pummelo']]
count = [[7.0, 4.0, 3.0],[5.0, 8.0, 15.0, 2.0], [9.0, 1.0], np.nan, [12.0]]
fruit_df['ids'] = ids
fruit_df['fruits'] = fruits
fruit_df['count'] = count
fruit_df.set_index(['ids'], inplace=True)
fruit_series = fruit_df.apply(lambda x: pd.Series(x['fruits']), axis=1).stack()
count_series = fruit_df.apply(lambda x: pd.Series(x['count']), axis=1).stack()
final_df = pd.DataFrame()
final_df['Fruits'] = fruit_series
final_df['Counts'] = count_series
final_df = final_df.reset_index().drop('level_1', axis=1)
final_df = final_df.pivot(index='ids', columns = 'Fruits', values = 'Counts')
print(final_df)
Комментарии:
1. Сработало хорошо! Я обработал NaNs заменой сразу после настройки: fruit_df[‘fruits’] = fruit_df[‘fruits’].apply(лямбда d: d, если isinstance(d, list) else [‘no_fruit’]) fruit_df[‘count’] = fruit_df[‘count’].apply(лямбда d: d, если isinstance(d, list) else [-1]) И заменой в конце концов, они снова (для меня было важно сохранить данные только с nans): final_df = final_df.replace(to_replace=[‘not_fruit’], значение =np.nan) final_df = final_df.replace(to_replace = -1, значение = np.nan) Спасибо за ответ, я дал 1, но, похоже, я здесь слишком новичок, и он был подсчитан, но не отображается
2. Это хороший способ обработки NaN! Я рад, что вы сочли ответ полезным, и мне было весело работать над этим.