Блог

У меня есть записная книжка pyspark, созданная в databricks. У меня есть фрейм данных, в который мне нужно динамически добавлять столбцы, и в настоящее время количество столбцов равно 186. Когда я достигаю длины строки python 10000, я не вижу цветовых кодов для None, Lit и т.д., И моя ячейка notebook не распознает объявления withcolumn после того, как размер строки достигает 10000.

Существует ли какое-либо ограничение по размеру строки в python? Если да, есть ли лучший способ добавить это количество столбцов в dataframe, используя список?

Спасибо,

Yuva

Да, существует ограничение на выбор значения no. из столбцов фрейма данных в databricks вы можете выбрать все нужные столбцы с помощью списка. Вот так —

 df = prv_df.withColumn(******something*********)

cols = ['column_1'
       ,'column_2'
       ,
       ,
       ,
       ,'column_n']

new_df = df.select(cols)
  

Я думаю, это решит вашу проблему.