Блог

У меня есть куча скриптов PySpark, которые нужно перенести в другую систему, поэтому я пытаюсь преобразовать их обратно в SQL.

 from pyspark import *
from pyspark.sql import *
from pyspark.sql.types import *
from pyspark.sql.functions import *
import pyspark.sql.functions as f

test1 = SparkSession.builder.config('...').format('jdbc')
test2 = SparkSession.builder.config('...').format('jdbc')
test3 = SparkSession.builder.config('...').format('jdbc')
window_part = Window.partitionBy('...','....')
test1 = test1.withColumn('....', max('...').over(window_part)).where(col('....') == col('...'))
test2 = test3.join(... == ..., 'inner')
result = test1.join(... == ..., 'left')
result = result.withColumn('...')
result = result.where(....)
....
 

Я не могу выполнить скрипт, так как у меня нет доступа к базе данных.

Есть ли в PySpark какая-либо функция для преобразования конечного результата в SQL-запрос?