Сбой PySpark при создании нового столбца путем применения функции к существующим столбцам в больших df

#python #apache-spark #pyspark #apache-spark-sql Вопрос: У меня есть следующий кадр данных, созданный из сжатого файла 10 гб .gz в формате csv: ------------------- ---------- -------- ---- | tweet_id| date| time|lang| -------------------…