spark的java和scala混合工程构建记录!

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark的java和scala混合工程构建记录!相关的知识,希望对你有一定的参考价值。

spark的java和scala混合工程构建记录!

今天就跟这个赶上了,各种办法,各种百度。


一、maven手动构建


1、dos命令下,进入目录,构建一个scala模板的工程


mvn archetype:generate -DarchetypeGroupId=org.scala-tools.archetypes -DarchetypeArtifactId=scala-archetype-simple -DremoteRepositories=http://scala-tools.org/repo-releases -DgroupId=com.dyq -DartifactId=KafkaSparkRedis -Dversion=1.0-SNAPSHOT


2、改造成eclipse工程:

mvn eclipse:eclipse

我用以上2遍就成功了。

还有可以用:

mvn org.apache.maven.plugins:maven-eclipse-plugin:2.6:eclipse


3、新建Java的目录



结果如下所示,没有的就加上
├── pom.xml
├── src│   
     ├── main│      
     │     ├── java│         
     │     │     └── com.jhh│             
    │     │             │ ── Main.java         
    │     └── scala│          
    │           └── com│              
    │                 │ ── jhh            
    │                           │── App.scala   
    └── test│       
          ├── java│       
          └── scala


4、添加管理Java的插件

修改pom.xml添加一个管理java源码的pluginbuild-helper plugin,添加位置
/project/build/plugins
<plugin>
<groupId>org.codehaus.mojo</groupId>
<artifactId>build-helper-maven-plugin</artifactId>
<executions>
<execution>
<phase>generate-sources</phase>
<goals><goal>add-source</goal></goals>
<configuration>
<sources>
<source>src/main/java</source>
</sources>
</configuration>
</execution>
</executions></plugin>



以上是关于spark的java和scala混合工程构建记录!的主要内容,如果未能解决你的问题,请参考以下文章

Spark 中用 Scala 和 java 开发有啥区别

Spark 中用 Scala 和 java 开发有啥区别

spark哪个版本支持scala2.11

值列表中的循环数,在 Spark 和 Scala 中混合了正数和负数

Spark记录-Scala基础语法

用 Maven 构建 Java-Scala 混合项目