通过python扩展spark mllib 算法包（e.g.基于spark使用孤立森林进行异常检测）
Posted shiter
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了通过python扩展spark mllib 算法包（e.g.基于spark使用孤立森林进行异常检测）相关的知识，希望对你有一定的参考价值。
文章大纲
- 基于scala 利用base64 编码实现scala 调用python 的复杂传参
- base64 编码简介
- 实现 scala 传递嵌套json 【包含python 代码】给python 并执行
- 使用python 对字符串代码参数运行的 封装类
- 调用python 测试代码
- scala 调用测试类
- scala 封装为spark mllib transform 流程
- 参考文献
基于scala 利用base64 编码实现scala 调用python 的复杂传参
base64 编码简介
Base64是网络上最常见的用于传输8Bit字节码的编码方式之一，Base64就是一种基于64个可打印字符来表示二进制数据的方法。可查看RFC2045～RFC2049，上面有MIME的详细规范。
Base64编码是从二进制到字符的过程
以上是关于通过python扩展spark mllib 算法包（e.g.基于spark使用孤立森林进行异常检测）的主要内容，如果未能解决你的问题，请参考以下文章
梯度迭代树（GBDT）算法原理及Spark MLlib调用实例（Scala/Java/python）
Spark-Mllib中各分类算法的java实现(简易教程)
spark.mllib源码阅读-分类算法4-DecisionTree