scala加载spark MLlib等所有相关jar的问题

Posted wuzaipei

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scala加载spark MLlib等所有相关jar的问题相关的知识,希望对你有一定的参考价值。

1、找到spark安装目录

  E:\\spackLearn\\spark-2.3.3-bin-hadoop2.7\\jars

  里面放的是spark的所有依赖jar包

2、从idea里面javalib导入即可调用里面的function

技术图片

 

以上是关于scala加载spark MLlib等所有相关jar的问题的主要内容,如果未能解决你的问题,请参考以下文章

Scala 中用于 mllib 的 java.lang.NumberFormatException

基于spark mllib的LDA模型训练Scala代码实现

14.spark mllib之快速入门

Spark MLlib速成宝典基础篇01Windows下spark开发环境搭建(Scala版)

通过python扩展spark mllib 算法包(e.g.基于spark使用孤立森林进行异常检测)

通过python扩展spark mllib 算法包(e.g.基于spark使用孤立森林进行异常检测)