Блог

Допустим, три файла в папке s3, и будет ли чтение через spark.read.csv(s3:имя корзины/папка 1/*.csv) считывать файлы по порядку или нет ? Если нет, есть ли способ упорядочить файлы при чтении всей папки с несколькими файлами, полученными в разное время внутри.

Вы можете достичь этого, используя следующее

1. Повторите все файлы в корзине и загрузите этот csv-файл с добавлением нового столбца last_modified . Ведите список всех файлов dfs, которые будут загружены dfs_list . Поскольку pyspark выполняет ленивую оценку, он не будет загружать данные мгновенно.

 import boto3  s3 = boto3.resource('s3') my_bucket = s3.Bucket('bucketname')  dfs_list = []  for file_object in my_bucket.objects.filter(Prefix="folder1/"):  df = spark.read.parquet('s3a://'   file_object.name).withColumn("modified_date", file_object.last_modified)  dfs_list.append(df)  

2. Теперь возьмите объединение всех dfs с помощью unionAll функции pyspark, а затем отсортируйте данные в соответствии с modified_date .

 from functools import reduce from pyspark.sql import DataFrame  df_combined = reduce(DataFrame.unionAll, dfs_list)  df_combined = df_combined.orderBy('modified_date')