Как мне создать цикл в spark?

#loops #apache-spark

#циклы #apache-spark

Вопрос:

Привет, как мне выполнить следующее в spark? Я хотел бы создать таблицу весов на основе даты, используя следующий цикл. Пожалуйста, вы можете показать мне, как создать такую же таблицу в spark?

 import datetime

from datetime import date
from dateutil.relativedelta import relativedelta

Last_month = datetime.datetime.strptime(todays_date,'%Y-%m-%d').date()   relativedelta(months=-1)
Last_month = Last_month.replace(day=1)
Last_month = Last_month.strftime("%Y-%m-%d")
Last_month_date = datetime.datetime.strptime(Last_month, "%Y-%m-%d").date()
print(Last_month)
print(todays_date)



def create_weights(Period):
    i=1
    DF = pd.DataFrame()
    while i <= 12:
        j = 1
        while j <= Period:
            ct = j - 11 - i
            nw_date = datetime.datetime.strptime(Last_month,'%Y-%m-%d').date()   relativedelta(months=ct)
            data = pd.DataFrame([[i, nw_date, j]], columns = ['period','mdate','weight'])
            j  = 1
            DF = pd.concat([DF,data])
        i  = 1
    return DF

weights = create_weights(12)
pd.set_option('display.max_rows', 144)
weights
  

Комментарии:

1. Пожалуйста, добавьте некоторые примеры данных и ожидаемый результат, любой может вам помочь.

2. Я добавил некоторый дополнительный код, теперь он должен работать на python. Должно быть 3 столбца period, mdate и weight. Как заставить его работать в spark?