打包运行 项目部署 startalone模式 和 yarn模式

Posted 2020-12-15 xjqi

 1  打包运行  项目部署  startalone模式  和 yarn模式
 2 1：把local 本地运行删掉    输入输出路径改为args(0) args(1)  删除左边target文件    
 3 顶部 bulid->bulid project  然后右侧打包package   在target下拷贝jar包到桌面上 
 4 2:必须启动 hdfs(hadoop)  spark
 5 3：进入hdfs的sbin目录    执行:  hadoop fs -ls /  查看hdfs目录     hadoop fs -mkdir /wcdata  创建单词统计的文件夹  
 6 hadoop fs -put  /usr/local/xujunqi/aa.txt  /wcdata  把文件上传到wcdata 目录下   netstat -tunl(表示看一下释放的端口)
 7 hadoop  fs -cat   hdfs://hadoop101:9000/wcdata/aa.txt  查看txt文件内容
 8 
 9 hadoop  fs -ls /wcresult     hadoop  fs -cat /wcresult2/part-00000
10 Standalone模式     在spark的bin目录下运行
11 
12  #Linux单核、代码删除设置setMaster("spark://hdp1:7077")
13  ./spark-submit14  --class com.xiangmu_bushu.Stream_WordCount15  --master spark://hadoop101:7077
16  --executor-memory 1G17  --total-executor-cores 318  /opt/module/jars/monthlycheck-1.0-SNAPSHOT.jar19   hdfs://hadoop101:9000/wcdata/aa.txt
20  hdfs://hadoop101:9000/wcresult/
21  
22  
23 
24  3：Yarn模式将
25  export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop 追加到spark-env.sh
26 ./spark-submit27  --class com.xiangmu_bushu.Stream_WordCount28  --master yarn --deploy-mode cluster29  --executor-memory 1G30  --executor-cores 331  /opt/module/jars/monthlycheck-1.0-SNAPSHOT.jar32  hdfs://hadoop101:9000/wcdata/aa.txt
33  hdfs://hadoop101:9000/wcresult2/