Блог

У меня есть udf, зарегистрированный в pyspark, которому поручено запрашивать веб-страницы путем создания URL-адреса с использованием аргументов функции a и b. Во время выполнения он оценивает аргументы Column<b'(colA colB)'> at в инструкции print.

Как мне добраться до строки в аргументах a и b?

 def udf_func(a, b):
    print(a   b)
    return requests.get(a   b)

get = udf(udf_func, ByteType())
df = df.withColumn("output", get(col("colA"), col("colB")))

 

Спасибо

вы можете изменить свою функцию следующим образом :

 def udf_func(a, b): return requests.get(a   b)

get = udf(lambda a,b : udf_func(a,b), ByteType())
df = df.withColumn("output", get(col("colA"), col("colB")))
 

Я не верю, что вы можете печатать значения внутри udf, поэтому я удалил его, но это должно сработать для вас.