Spark ml 和 PMML 导出

Posted

技术标签:

【中文标题】Spark ml 和 PMML 导出【英文标题】:Spark ml and PMML export 【发布时间】:2016-08-09 21:40:28 【问题描述】:

我知道可以将模型导出为PMMLSpark-MLlib,但是Spark-ML 呢?

是否可以将 LinearRegressionModelorg.apache.spark.ml.regression 转换为 LinearRegressionModelorg.apache.spark.mllib.regression 以便能够调用 toPMML() 方法?

【问题讨论】:

【参考方案1】:

您可以使用 JPMML-SparkML 库将 Spark ML 管道转换为 PMML:

StructType schema = dataFrame.schema()
PipelineModel pipelineModel = pipeline.fit(dataFrame);
org.dmg.pmml.PMML pmml = org.jpmml.sparkml.ConverterUtil.toPMML(schema, pipelineModel);
JAXBUtil.marshalPMML(pmml, new StreamResult(System.out));

【讨论】:

谢谢,我会尽快尝试

以上是关于Spark ml 和 PMML 导出的主要内容,如果未能解决你的问题,请参考以下文章

Apache Spark MLlib:如何从 PMML 导入模型

将 python scikit 学习模型导出到 pmml

将 sklearn 随机森林 Python 模型导出到 Android

有没有办法将 pmml 文件导入 python?

导出 Scikit Learn Random Forest 以在 Hadoop 平台上使用

“Azure ML 如何通过插入一行数据库将数据导出到 SQL 数据库”。