Блог

У меня есть фрейм данных, аналогичный приведенному ниже в pyspark

Мне нужно извлечь страну из имени проекта, содержащего TBD. У меня также есть список названий стран из моей таблицы измерений country_list = ['Canada','United States',....., 'China'] , в этом списке около 75 стран

Сначала я попытался решить эту проблему с помощью цикла for, я написал следующее

 country_list = ['Canada','United States',....., 'China']
# Set initial ExtractCountry column
df = df.withColumn("ExtractColumn", lit(None).cast("string"))
# Loop through data frame
for country in country_list:
    df = df.withColumn("ExtractColumn", when(df.ProjectName.contains("TBD") 
                                             amp; df.ProjectName.contains(country), lit(country))
                                       .otherwise(F.col("ExtractColumn")))
 

Это работает, но для запуска требуется очень много времени, так как мой df такой большой, и это означает, что он имеет длину фрейма данных x 75 стран. Я знаю, что в pyspark нет индексации, такой как фрейм данных pandas (я должен использовать pyspark, не могу использовать панд), но в любом случае есть ли для меня возможность просматривать фрейм данных только один раз или каким-то другим способом сократить время выполнения?

Вы можете просто удалить TBD из projectname с regexp_replace

 from pyspark.sql import functions as F

(df
    .withColumn('ExtractColumn', F
        .when(F.col('projectname').startswith('TBD'), F.regexp_replace('projectname', 'TBD ', ''))
    )
    .show(10, False)
)

# Output
#  ------------------ -------------- -------------- 
# |projectname       |projectnumber |ExtractColumn |
#  ------------------ -------------- -------------- 
# |TBD Canada        |10000000000029|Canada        |
# |TBD China         |10000000000033|China         |
# |TBD United Kingdom|10000000000033|United Kingdom|
# |US Diver          |10000000000234|null          |
# |Flower 2.0        |10000000023947|null          |
#  ------------------ -------------- --------------