Блог

Я пытаюсь объединить 2 фрейма данных по индексу даты по порядку. Возможно ли это?

Пример кода того, что мне нужно для манипулирования

Ссылка для sg_df:https://query1.finance .yahoo.com/v7/finance/download/^STI?P=^STI?period1=1442102400amp;period2=1599955200amp;interval=1moamp;events=history

Ссылка для facemask_compliance_df:https://today .yougov.com/topics/international/articles-reports/2020/05/18/international-covid-19-tracker-update-18-may (Отслеживание изменений поведения YouGov COVID-19: ношение маски для лица в общественных местах)

 # Singapore Index
# Read file
# Format Date
# index date column for easy referencing
sg_df = pd.read_csv("^STI.csv")
conv = lambda x: datetime.strptime(x, "%d/%m/%Y")
sg_df["Date"] = sg_df["Date"].apply(conv)
sg_df.sort_values("Date", inplace = True)
sg_df.set_index("Date", inplace = True)

# Will wear face mask in public
# Read file
# Format Date, Removing time
# index date column for easy referencing
facemask_compliance_df = pd.read_csv("yougov-chart.csv")
convert1 = lambda x: datetime.strptime(x, "%d/%m/%Y %H:%M") 
facemask_compliance_df["DateTime"] = facemask_compliance_df["DateTime"].apply(convert1).dt.date
facemask_compliance_df.sort_values("DateTime", inplace = True)
facemask_compliance_df.set_index("DateTime", inplace = True)

sg_df = sg_df.merge(facemask_compliance_df["Singapore"], left_index = True, right_index = True, how = "outer").sort_index()

  

и я хочу вывести таблицу, подобную этой.

Пожалуйста, дайте мне знать, если вам понадобится дополнительная информация, я любезно предоставлю их вам в ближайшее время, если смогу.

Редактировать:

Это проблема

данные из yougov-диаграммы

Я думаю, что он считывает даты, даже если он не из Сингапура

Использовать:

1. merge для объединения в таблицы.

1.1. on чтобы выбрать, в каком столбце объединить:

Имена столбцов или индексов для объединения. Они должны быть найдены в обоих фреймах данных. Если on значение None и не объединяется по индексам, то по умолчанию это означает пересечение столбцов в обоих фреймах данных.

1.2. outer опция:

внешний: используйте объединение ключей из обоих фреймов, аналогично полному внешнему соединению SQL; сортируйте ключи лексикографически.

2. sort_values для сортировки по дате

 import pandas as pd

df1 = pd.read_csv("^STI.csv")

df1['Date'] = pd.to_datetime(df1.Date)

df2 = pd.read_csv("yougov-chart.csv")

df2['Date'] = pd.to_datetime(df2.DateTime)

result = df2.merge(df1, on='Date', how='outer')
result = result.sort_values('Date')

print(result)
  

Вывод:

         Date  US_GDP_Thousands  Mask Compliance
6 2016-02-01               NaN             37.0
7 2017-07-01               NaN             73.0
8 2019-10-01               NaN             85.0
0 2020-02-21              50.0             27.0
1 2020-03-18              55.0              NaN
2 2020-03-19              60.0              NaN
3 2020-03-25              65.0              NaN
4 2020-04-03              70.0              NaN
5 2020-05-14              75.0              NaN
  

Сначала используйте параметры parse_dates и index_col в read_csv для DatetimeIndex в обоих, а во втором удаляйте время на Series.dt.floor :

 sg_df = pd.read_csv("^STI.csv", 
                    parse_dates=['Date'], 
                    index_col=['Date'])

facemask_compliance_df = pd.read_csv("yougov-chart.csv", 
                                     parse_dates=['DateTime'],
                                     index_col=['DateTime'])
facemask_compliance_df["DateTime"] = facemask_compliance_df["DateTime"].dt.floor('d')
  

Затем используйте DataFrame.merge по индексу с помощью внешнего соединения, а затем отсортируйте индекс по DataFrame.sort_index :

 df = sg_df.merge(facemask_compliance_df, 
                 left_index=True, 
                 right_index=True, 
                 how='outer').sort_index()
print (df)
            Mask Compliance  US_GDP_Thousands
Date                                         
2016-02-01             37.0               NaN
2017-07-01             73.0               NaN
2019-10-01             85.0               NaN
2020-02-21             27.0              50.0
2020-03-18              NaN              55.0
2020-03-19              NaN              60.0
2020-03-25              NaN              65.0
2020-04-03              NaN              70.0
2020-05-14              NaN              75.0
  

Если я правильно помню, в numpy вы можете сделать v.stack или h.stack. зависит от того, как вы хотите объединить их вместе.

в pandas было что-то вроде объединенияhttps://pandas.pydata.org/docs/user_guide/merging.html который я использовал для объединения фреймов данных