Как загрузить большой файл в PySpark и затем эффективно его обработать?

#apache-spark #pyspark #databricks #spark-structured-streaming Вопрос: У меня хранится большой файл. Я хочу загрузить и обработать этот файл в базе данных (pyspark). Но поскольку размер файла большой, будет неэффективно загружать весь…