Блог

У меня есть фрейм данных, как показано ниже

 id | column A | Column B | Column C
123| apple    | Vitamins | Minerals
 

Я хочу объединить столбцы B и C и добавить скобки вокруг текста, например [B, C]. т.е. [Витамины, минералы]
Пожалуйста, помогите.

Вы можете использовать concat :

 import pyspark.sql.functions as F

df2 = df.withColumn('columnD', F.expr("concat('[', columnB, ',', columnC, ']')"))
 

Я решил опубликовать весь рабочий код, чтобы вам было легче понять. Лей заключается в использовании concat ключевого слова для достижения желаемого результата.

Код:

 import findspark
findspark.init()
from pyspark import SparkContext
import pyspark.sql.functions as fn
from pyspark.sql import SparkSession, Row

sc = SparkContext.getOrCreate()
spark = SparkSession.builder.getOrCreate()

my_list = [
  {"id ":'123',"column A":'apple',"column B":'Vitamins',"column C":'Minerals'}
]

df = spark.createDataFrame(Row(**x) for x in my_list)
df.show()
df = df.withColumn('joined_column', fn.concat(fn.lit('['),df['column B'],fn.lit(','), df['column C'],fn.lit(']')))
df.show()
 

Результаты выполнения:

  -------- -------- -------- --- 
|column A|column B|column C|id |
 -------- -------- -------- --- 
|   apple|Vitamins|Minerals|123|
 -------- -------- -------- --- 

 -------- -------- -------- --- ------------------- 
|column A|column B|column C|id |      joined_column|
 -------- -------- -------- --- ------------------- 
|   apple|Vitamins|Minerals|123|[Vitamins,Minerals]|
 -------- -------- -------- --- -------------------