Spark2 文件处理和jar包执行
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark2 文件处理和jar包执行相关的知识，希望对你有一定的参考价值。
上传数据文件
mkdir -p data/ml/ /home/wangxiao/data/ml/Affairs.txt
hadoop fs -mkdir -p /datafile/wangxiao/
hadoop fs -ls / hadoop fs -put /home/wangxiao/data/ml/Affairs.txt /datafile/wangxiao/
hadoop fs -ls -R /datafile
hdfs://ns1/datafile/wangxiao/Affairs.txt
执行jar包
mkdir -p jar/
$SPARK_HOME/bin/spark-submit \
--class "ML2" \
--master local[2] \
/home/huai/jar/test.jar
下载数据文件到本地
hadoop fs -get /datafile/wangxiao/Affairs.txt /home/wangxiao/data/ml/
删除HDFS上的文件
hadoop fs -rm -r -f /datafile/wangxiao/data*
以上是关于Spark2 文件处理和jar包执行的主要内容，如果未能解决你的问题，请参考以下文章