#python #apache-spark #amazon-s3 #python-requests
#python #apache-spark #amazon-s3 #python-запросы
Вопрос:
Я пишу на S3, используя скрипт pyspark, вот так:
df.write.mode('overwrite').parquet('s3://[S3_PATH]')
С помощью прямого HTTP-запроса я мог бы передавать пользовательские заголовки с моим запросом на запись. Возможно ли передавать пользовательские заголовки с помощью PySpark?
Комментарии:
1. Вы имеете в виду, как
Authorization: Bearer <token>? Если да, меня также интересует этот вопрос!