关于大数据领域各个组件打包部署到集群运行的总结（含手动和maven）（博主推荐）

Posted 2020-11-09 wangsongbai

对于这里的打包，总结：

　　(1)     最简单的，也是为了适应公司里，还是要用maven，当然spark那边sbt，maven都可以。但是maven居多。

Eclipse/MyEclipse下如何Maven管理多个Mapreduce程序？（企业级水平）

IDEA里如何多种方式打jar包，然后上传到集群

Spark编程环境搭建（基于Intellij IDEA的Ultimate版本）（包含Java和Scala版的WordCount）（博主强烈推荐)

 

 

 

　　(2)     将整个项目打jar包进去，只需指定想要的类即可。比如你直接打成一个总的jar包，如guangdiang.jar。

[[email protected] jar]$ hadoop jar ./guangdian.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountChannelRating /tv-out-ECN/part-r-00000 /tv-out-ECAARN/part-r-00000 /tv-out-ACCR

[[email protected] jar]$ hadoop jar ./guangdian.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountProgramRating /tv-out-ECN/part-r-00000 /tv-out-EPAARN/part-r-00000 /tv-out-ACPR

 

　　(3)     直接将你想要的类打成jar包即可，比如guangdiangACCR.jar。

[[email protected] jar]$ hadoop jar ./guangdianACCR.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountChannelRating /tv-out-ECN/part-r-00000 /tv-out-ECAARN/part-r-00000 /tv-out-ACCR


或


[[email protected] jar]$ hadoop jar ./guangdianACCR.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountChannelRating /tv-out-ECN/part-r-00000 /tv-out-ECAARN/part-r-00000 /tv-out-ACCR

 

 　　比如guangdiangACPR.jar。

[[email protected] jar]$ hadoop jar ./guangdianACPR.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountProgramRating /tv-out-ECN/part-r-00000 /tv-out-EPAARN/part-r-00000 /tv-out-ACPR


或


[[email protected] jar]$ hadoop jar ./guangdianACPR.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountProgramRating hdfs://master:9000/tv-out-ECN/part-r-00000 hdfs://master:9000/tv-out-EPAARN/part-r-00000 hdfs://master:9000/tv-out-ACPR

 

 

 

 　　

 

 

 

 

 

 

 　　成功！