#python #pandas #analytics #pandas-groupby
#python #pandas #аналитика #pandas-groupby
Вопрос:
У меня есть фрейм данных, который я хочу сгруппировать на основе значения другого столбца в том же фрейме данных.
Например:
Parent_ID и дочерний идентификатор связаны и определяют, кто с кем связан в иерархическом дереве.
Фрейм данных выглядит следующим образом (ввод из файла csv)
No Name ID Parent_Id
1 Tom 211 111
2 Galie 209 111
3 Remo 200 101
4 Carmen 212 121
5 Alfred 111 191
6 Marvela 101 111
7 Armin 234 101
8 Boris 454 109
9 Katya 109 323
Я хотел бы сгруппировать этот фрейм данных на основе ID и Parent_ID в приведенной ниже группировке и сгенерировать из этого CSV-файлы на основе родительского элемента верхнего уровня. Т.е. Alfred.csv, Carmen.csv (будет иметь только свою собственную запись, ice line # 4) , Katya.csv с использованием функции to_csv().
Alfred
|_ Galie
_ Tom
_ Marvela
|_ Remo
_ Armin
Carmen
Katya
|_ Boris
И я хочу создать новый столбец в том же фрейме данных, который будет иметь тег, указывающий иерархию. Нравится:
No Name ID Parent_Id Tag
1 Tom 211 111 Alfred
2 Galie 209 111 Alfred
3 Remo 200 101 Marvela, Alfred
4 Carmen 212 121
5 Alfred 111 191
6 Marvela 101 111 Alfred
7 Armin 234 101 Marvela, Alfred
8 Boris 454 109 Katya
9 Katya 109 323
Обратите внимание, что имена могут повторяться, но идентификатор будет уникальным.
Пожалуйста, дайте мне знать, как добиться этого с помощью pandas. Я попробовал groupby (), но кажется немного сложным и не получается то, что я намереваюсь. Для каждого родительского файла должен быть один файл, а дочерние записи — в родительском файле. Если у дочернего элемента есть другой дочерний элемент (например, marvel), он имеет право иметь свой собственный csv-файл.
И конечный результат будет
Alfred.csv - All records matching Galie, Tom, Marvela
Marvela.csv - All records matching Remo, Armin
Carmen.csv - Only record matching carmen (row)
Katya.csv - all records matching katya, boris
Ответ №1:
Я предполагаю, что ваш фрейм данных является словарем:
mydf = ({"No":[1,2,3,4,5,6,7,8,9],"Name":["Tom","Galie","Remo","Carmen","Alfred","Marvela","Armin","Boris","Katya"],
"ID":[211,209,200,212,111,101,234,454,109],"Parent_Id":[111,111,101,121,191,111,101,109,323]})
df = pd.DataFrame(mydf)
Затем я определяю Parent_Id
из каждой строки. Наконец-то сохранил их в новый столбец:
tag = []
for z in df['Parent_Id']:
try:
tag.append(df.query('ID==%s'%z)['Name'].item())
except:
tag.append('')
df['Tag'] = tag
Для фильтрации фрейма данных на основе значения в столбце Tag
, например Alfred
:
df[df['Tag'].str.match('Alfred')]
Затем сохраните это в csv
файле. Повторите для других значений. В качестве альтернативы, если у вас большое количество имен в столбце, Tag
используйте for
цикл.
Комментарии:
1. Спасибо, Юсуфун. Я еще немного прояснил этот вопрос.
2. Вы можете попробовать
df[df['Tag'].str.match('Alfred')]
, чтобы строки содержалисьAlfred
в столбцеTag
. Повторите для других значений.3. Спасибо. Есть ли способ избежать цикла for? Входные данные csv, с которыми я имею дело, будут состоять из 100 или 1000 строк. Часть, в которой я очень заинтересован, — это преобразование моего входного CSV-файла в несколько выходных CSV-файлов, описанных выше.