Использование одного фрейма данных для создания групп в другом фрейме данных, затем получение средних значений

#python #pandas #numpy #dataframe #quantitative-finance

#python #pandas #numpy #фрейм данных #количественный-финансы

Вопрос:

Предпосылка моего вопроса заключается в том, что я хотел бы использовать один фрейм данных (peergroups) для создания групп акций, которые являются аналогами других акций, а затем вычислять средние значения в другом фрейме данных (fun_data), но я не знаю, как использовать один фрейм данных для создания групп по годам и тикеру, а затем применить группы, найти среднее значение по нескольким столбцам и создать новые столбцы для этих средних значений в другом фрейме данных. Приветствуется любая помощь. Данные, которые у меня есть на данный момент, приведены ниже.

Я начинаю с двух фреймов данных, один с фундаментальными данными, а другой, который показывает одноранговые группы компаний за каждый год

fun_data

 import numpy as np
import pandas as pd
fun_data = {{'data': [12/30/1983, 12/30/1983, 12/30/1983, 12/30/1983, 12/30/1983, 12/30/1983, 12/30/1983, 12/30/1983, 12/30/1983, 12/30/1983, 12/30/1983, 12/30/1983, 12/30/1983, 12/30/1983, 12/30/1983, 1/3/1984, 1/3/1984, 1/3/1984, 1/3/1984, 1/3/1984, 1/3/1984, 1/3/1984, 1/3/1984, 1/3/1984, 1/3/1984, 1/3/1984, 1/3/1984, 1/3/1984, 1/3/1984, 1/3/1984],
             'ticker': ['AA', 'KO', 'AMB', 'AMX', 'AR', 'AS', 'BUD', 'CLF', 'CRS', 'DOC', 'EC', 'EFU', 'FTX', 'HM', 'RJR', 'AA', 'KO', 'AMB', 'AMX', 'AR', 'AS', 'BUD', 'CLF', 'CRS', 'DOC', 'EC', 'EFU', 'FTX', 'HM', 'RJR'],
             'mkt_cap': [10382076219, 28615981356, 89124668974, 96863568587, 69017311359, 71368368637, 36604633897, 91086629072, 87580223715, 70605054110, 93225158261, 91412455851, 76327466814, 60245266890, 33751408249, 92924687267, 97193082284, 43372080824, 94712408349, 60356743279, 32484886660, 18571138143, 64690517329, 24838868675, 23278782495, 34286838121, 46008417484, 24020283962, 3560654158, 79189294007],
             'pe_ratio': [15, 24, 15, 20, 22, 19, 16, 22, 18, 13, 18, 16, 14, 24, 15, 12, 18, 22, 16, 21, 20, 16, 24, 18, 15, 24, 24, 18, 13, 18],}
df1 = pd.DataFrame(data=fun_data)
df1
  

peergroups

 import numpy as np
import pandas as pd
peergroup = {'year': [1983, 1983, 1983, 1983, 1983, 1984, 1984, 1984, 1984, 1984, 1983, 1983, 1983, 1984, 1984, 1984],
             'ticker': ['AA', 'AA', 'AA', 'AA', 'AA', 'AA', 'AA', 'AA', 'AA', 'AA', 'KO', 'KO', 'KO', 'KO', 'KO', 'KO'],
             'peer': [AMX, AS, CLF, CRS, EFU, HM, AMX, AR, EC, FTX, AMB, BUD, DOC, AMB, BUD, RJR]}
df2 = pd.DataFrame(data=peergroup)
df2
  

Как только у меня появятся эти фреймы данных, я представляю, как код выполняет эти шаги (не стесняйтесь настраивать, если есть лучший способ сделать это)

  1. Найдите дату и тикер из фрейма данных fun_data (30.12.1983, AA)
  2. Найдите одноранговые узлы AA за 1983 год из фрейма данных peergroup (AMX, AS, CLF, CRS, EFU)
  3. Найдите данные mkt_cap и pe_ratio для одноранговых узлов на эту дату из фрейма данных fun_data
  4. Вычислите среднее значение mkt_Cap и pe_ratio для одноранговых узлов AA
  5. Создайте два столбца для peer_avg_mkt_cap и peer_avg_pe_ratio и введите вычисленные значения в эти столбцы
  6. Выполнить итерацию для всех фирм с одноранговыми узлами для всех дат в fun_data
  7. Если на эту дату не найдено ни одного узла, оставьте 0 (будет заполнено данными из библиотеки FF)

Желаемый результат

Ответ №1:

Я думаю, вам нужно merge s. Сначала, чтобы создать среднее значение для групп, вы можете merge использовать df1 в столбце year, созданном на основе даты и бегущей строки, и в df2 year и одноранговом. затем сгруппируйте по столбцу tocker из df2 в этом объединенном фрейме данных:

 df_ = (df1.assign(year=pd.to_datetime(df1['data']).dt.year)
          .merge(df2, 
                 left_on=['year','ticker'], right_on=['year','peer'], 
                 how='outer', suffixes=('_',''))
          .groupby(['year', 'ticker'])
          [['mkt_cap', 'pe_ratio']].mean()
          .add_prefix('avg_')
      )
print(df_)
              avg_mkt_cap  avg_pe_ratio
year ticker                            
1983 AA      8.766225e 10     19.000000
     KO      6.544479e 10     14.666667
1984 AA      4.338739e 10     18.400000
     KO      4.704417e 10     18.666667
  

Обратите внимание, что я не получаю то же значение, что вы ожидали на выходе, но я не уверен, как вы получили 19,3 для KO в 1983 году, зная, что в вашем df2 оно связано с тремя тикерами, все из которых имеют значения меньше 16, поэтому я думаю, это то, что вы хотите.

Теперь вам просто нужно merge снова вернуть значение df1 для year и тикера, которые являются индексом df_, созданным непосредственно перед этим, плюс немного fillna и drop для столбца year

 df3 = (df1.assign(year=pd.to_datetime(df1['data']).dt.year)
          .merge(df_, 
                 left_on=['year','ticker'], 
                 right_index=True, 
                 how='left')
          .fillna(0)
          .drop('year',axis=1)
      )
print(df3)
          data ticker      mkt_cap  pe_ratio   avg_mkt_cap  avg_pe_ratio
0   12/30/1983     AA  10382076219        15  8.766225e 10     19.000000
1   12/30/1983     KO  28615981356        24  6.544479e 10     14.666667
2   12/30/1983    AMB  89124668974        15  0.000000e 00      0.000000
3   12/30/1983    AMX  96863568587        20  0.000000e 00      0.000000
4   12/30/1983     AR  69017311359        22  0.000000e 00      0.000000
5   12/30/1983     AS  71368368637        19  0.000000e 00      0.000000
6   12/30/1983    BUD  36604633897        16  0.000000e 00      0.000000
7   12/30/1983    CLF  91086629072        22  0.000000e 00      0.000000
8   12/30/1983    CRS  87580223715        18  0.000000e 00      0.000000
9   12/30/1983    DOC  70605054110        13  0.000000e 00      0.000000
10  12/30/1983     EC  93225158261        18  0.000000e 00      0.000000
11  12/30/1983    EFU  91412455851        16  0.000000e 00      0.000000
12  12/30/1983    FTX  76327466814        14  0.000000e 00      0.000000
13  12/30/1983     HM  60245266890        24  0.000000e 00      0.000000
14  12/30/1983    RJR  33751408249        15  0.000000e 00      0.000000
15    1/3/1984     AA  92924687267        12  4.338739e 10     18.400000
16    1/3/1984     KO  97193082284        18  4.704417e 10     18.666667
17    1/3/1984    AMB  43372080824        22  0.000000e 00      0.000000
18    1/3/1984    AMX  94712408349        16  0.000000e 00      0.000000
19    1/3/1984     AR  60356743279        21  0.000000e 00      0.000000
20    1/3/1984     AS  32484886660        20  0.000000e 00      0.000000
...
  

Комментарии:

1. Во-первых, спасибо за быстрый ответ, Бен. Вторые два вопроса: 1. Сработает ли слияние сначала по году, чтобы получить средние значения, если мне нужно найти средние значения за несколько дней в том же году (т. Е. Найти среднее значение за 1/3/1984 и в отдельной строке мне понадобятся средние значения за 1/4/1984) 2. Будут случаи, когда один тикер должен быть в нескольких группах (т. Е. KO (Coca-Cola) является аналогом PEPS (Pepsi) и KDP (Keurig Dr Pepper).

2. @johnbreeden на ваш первый вопрос я бы сказал, что в groupby вместо использования year используйте data, это создало бы среднее значение за день, затем во втором слиянии (для df3) используйте data вместо year. Что касается второго вопроса, IIUC, у вас может быть один и тот же узел для нескольких тикеров одного и того же года в df2? если да, то при первом слиянии будут созданы необходимые строки