Блог

Я довольно новичок в python / pandas извините, если это простой вопрос. В настоящее время у меня есть 2 фрейма данных, один с диапазоном дат, а другой с артикулами продуктов. Я хочу создать фрейм данных, который повторяет все артикулы для каждой даты.

В настоящее время я делаю это с помощью iterrows (), но это ужасно неэффективно для больших наборов данных.

Заранее спасибо.

Пример:

dates_df:

         Date
0 2016-01-01
1 2016-01-02
2 2016-01-03
  

sku_df:

   SKU
0 001
1 002
2 003
  

result_df:

 Date          SKU
2016-01-01    001
2016-01-01    002
2016-01-01    003
2016-01-02    001
2016-01-02    002
2016-01-02    003
2016-01-03    001
2016-01-03    002
2016-01-03    003
  

вы можете использовать itertools.product:

 In [30]: from itertools import product

In [31]: pd.DataFrame(list(product(dates.Date, sku.SKU)), columns=['Date','SKU'])
Out[31]:
        Date  SKU
0 2016-01-01  001
1 2016-01-01  002
2 2016-01-01  003
3 2016-01-02  001
4 2016-01-02  002
5 2016-01-02  003
6 2016-01-03  001
7 2016-01-03  002
8 2016-01-03  003
  

или с использованием декартова произведения Pandas:

 In [136]: pd.merge(dates.assign(key='x'), sku.assign(key='x'), on='key').drop('key', 1)
Out[136]:
        Date  SKU
0 2016-01-01  001
1 2016-01-01  002
2 2016-01-01  003
3 2016-01-02  001
4 2016-01-02  002
5 2016-01-02  003
6 2016-01-03  001
7 2016-01-03  002
8 2016-01-03  003
  

Исходный код DFs:

 In [32]: dates
Out[32]:
        Date
0 2016-01-01
1 2016-01-02
2 2016-01-03

In [33]: sku
Out[33]:
   SKU
0  001
1  002
2  003
  

Синхронизация для двух DFS по 1 тыс. строк каждая, поэтому результирующий DF будет иметь 1 млн строк:

 In [153]: dates = pd.DataFrame({'Date':pd.date_range('2000-01-01', periods=1000)})
     ...: sku = pd.DataFrame({'SKU':np.arange(1, 1001).astype(str)})
     ...: sku.SKU = sku.SKU.str.zfill(3)
     ...:

In [154]: dates.shape
Out[154]: (1000, 1)

In [155]: sku.shape
Out[155]: (1000, 1)

In [156]: %timeit pd.DataFrame(list(product(dates.Date, sku.SKU)), columns=['Date','SKU'])
1 loop, best of 3: 667 ms per loop

In [157]: %timeit pd.merge(dates.assign(key='x'), sku.assign(key='x'), on='key').drop('key', 1)
1 loop, best of 3: 222 ms per loop

In [158]: len(pd.DataFrame(list(product(dates.Date, sku.SKU)), columns=['Date','SKU']))
Out[158]: 1000000

In [159]: len(pd.merge(dates.assign(key='x'), sku.assign(key='x'), on='key').drop('key', 1))
Out[159]: 1000000