如何将模型从ML Pipeline保存到S3或HDFS?
2022-09-03 14:46:32
我正在尝试保存ML Pipeline生成的数千个模型。如此处的答案所示,模型可以按如下方式保存:
import java.io._
def saveModel(name: String, model: PipelineModel) = {
val oos = new ObjectOutputStream(new FileOutputStream(s"/some/path/$name"))
oos.writeObject(model)
oos.close
}
schools.zip(bySchoolArrayModels).foreach{
case (name, model) => saveModel(name, Model)
}
我已经尝试过使用,因为我希望模型最终保存到amazon s3,但它们都失败了,并显示指示找不到路径的消息。s3://some/path/$name
/user/hadoop/some/path/$name
如何将模型保存到 Amazon S3?