Pandas — Группировка столбцов на основе других столбцов и пометка их в новый столбец

#python #pandas #analytics #pandas-groupby

#python #pandas #аналитика #pandas-groupby

Вопрос:

У меня есть фрейм данных, который я хочу сгруппировать на основе значения другого столбца в том же фрейме данных.

Например:

Parent_ID и дочерний идентификатор связаны и определяют, кто с кем связан в иерархическом дереве.

Фрейм данных выглядит следующим образом (ввод из файла csv)

 No  Name    ID  Parent_Id
1   Tom     211 111
2   Galie   209 111
3   Remo    200 101
4   Carmen  212 121
5   Alfred  111 191
6   Marvela 101 111
7   Armin   234 101
8   Boris   454 109
9   Katya   109 323
  

Я хотел бы сгруппировать этот фрейм данных на основе ID и Parent_ID в приведенной ниже группировке и сгенерировать из этого CSV-файлы на основе родительского элемента верхнего уровня. Т.е. Alfred.csv, Carmen.csv (будет иметь только свою собственную запись, ice line # 4) , Katya.csv с использованием функции to_csv().

 Alfred
  |_ Galie
   _ Tom
   _ Marvela
       |_ Remo
        _ Armin
Carmen
Katya
  |_ Boris
  

И я хочу создать новый столбец в том же фрейме данных, который будет иметь тег, указывающий иерархию. Нравится:

 No  Name    ID  Parent_Id   Tag
1   Tom     211 111     Alfred
2   Galie   209 111     Alfred
3   Remo    200 101     Marvela, Alfred
4   Carmen  212 121 
5   Alfred  111 191 
6   Marvela 101 111     Alfred
7   Armin   234 101     Marvela, Alfred
8   Boris   454 109     Katya
9   Katya   109 323
  

Обратите внимание, что имена могут повторяться, но идентификатор будет уникальным.

Пожалуйста, дайте мне знать, как добиться этого с помощью pandas. Я попробовал groupby (), но кажется немного сложным и не получается то, что я намереваюсь. Для каждого родительского файла должен быть один файл, а дочерние записи — в родительском файле. Если у дочернего элемента есть другой дочерний элемент (например, marvel), он имеет право иметь свой собственный csv-файл.

И конечный результат будет

 Alfred.csv - All records matching Galie, Tom, Marvela
Marvela.csv - All records matching Remo, Armin
Carmen.csv - Only record matching carmen (row)
Katya.csv - all records matching katya, boris
  

Ответ №1:

Я предполагаю, что ваш фрейм данных является словарем:

 mydf = ({"No":[1,2,3,4,5,6,7,8,9],"Name":["Tom","Galie","Remo","Carmen","Alfred","Marvela","Armin","Boris","Katya"],
        "ID":[211,209,200,212,111,101,234,454,109],"Parent_Id":[111,111,101,121,191,111,101,109,323]})
df = pd.DataFrame(mydf)
  

Затем я определяю Parent_Id из каждой строки. Наконец-то сохранил их в новый столбец:

 tag = []
for z in df['Parent_Id']:
    try:
        tag.append(df.query('ID==%s'%z)['Name'].item())
    except:
        tag.append('')
df['Tag'] = tag
  

Для фильтрации фрейма данных на основе значения в столбце Tag , например Alfred :

 df[df['Tag'].str.match('Alfred')]
  

Затем сохраните это в csv файле. Повторите для других значений. В качестве альтернативы, если у вас большое количество имен в столбце, Tag используйте for цикл.

Комментарии:

1. Спасибо, Юсуфун. Я еще немного прояснил этот вопрос.

2. Вы можете попробовать df[df['Tag'].str.match('Alfred')] , чтобы строки содержались Alfred в столбце Tag . Повторите для других значений.

3. Спасибо. Есть ли способ избежать цикла for? Входные данные csv, с которыми я имею дело, будут состоять из 100 или 1000 строк. Часть, в которой я очень заинтересован, — это преобразование моего входного CSV-файла в несколько выходных CSV-файлов, описанных выше.