Блог

Используя python, я должен перейти в папку cwp, войти в папку date и прочитать файл parquet. У меня есть эта структура папок внутри s3.

Пример пути s3:

имя корзины = lla.analytics.dev

path = bigdata/dna/fixed/cwp/dt=ГГГГ-ММ-ДД/file.parquet

 s3://lla.analytics.dev/bigdata/dna/fixed/cwp/dt=2021-11-24/file.parquet
                                             dt=2021-11-25/file.parquet
                                             dt=2021-11-26/file.parquet
                                             ........................
                                             ........................
                                             dt=YYYY-MM-DD/file.parquet
 

Я должен получить доступ к папке с недавними датами и прочитать файлы в dataframe из s3

Я вижу, у вас есть метка пайрроу. Если вы хотите использовать pyarrow (отказ от ответственности, я работаю с pyarrow), вы должны быть в состоянии сделать:

 import pyarrow.fs as fs
import pyarrow.dataset as ds

s3, path = fs.FileSystem.from_uri("s3://lla.analytics.dev/bigdata/dna/fixed/cwp")
dataset = ds.dataset(path, partitioning='hive', filesystem=s3, format='parquet')
table = dataset.to_table()
 

В документах pyarrow по файловой системе и табличных документах dataset гораздо больше деталей. В поваренной книге pyarrow также есть рецепты для этого.