#pyspark #pickle #apache-spark-ml
Вопрос:
Я обучил классификатор spark.ml.randomForest с помощью кроссвалидатора. Допустим, переменная CV, который может быть сохранен в S3, используя метод ниже: cv.save("s3//bucket/somekey") однако, в результате получается не один файл, а папка с подпапками, как С3//ведро/somekey/bestModel/ С3//ведро/somekey/оценщик/ С3//ведро/somekey/ — сметчик/ С3//ведро/somekey/метаданных/
Есть ли способ сохранить его в один файл, например в файл рассола, чтобы его можно было легко экспортировать в другое место?
Я попробовал приведенный ниже метод, но получил сообщение об ошибке msg «не могу рассолить _треад.Объекты RLock»
s3.put_object( Body=pickle.dumps(cv), Bucket=bucket, Key=key )