寒假学习第三天

Posted 2021-03-12 lishengming00

今天进行了Spark的安装。

1.1 下载安装包
进入Scala下载页面，下拉，找到tgz包

 

 

右击，复制链接如下
https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz
在master的命令行中输入：
wget https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz

2 安装Spark
2.1 下载安装包

复制结果如下：http://mirrors.shu.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz
输入命令：wget http://mirrors.shu.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz

2.2 解压
输入命令：tar zxf spark-2.4.0-bin-hadoop2.7.tgz

2.3 迁移目录
输入命令：sudo mv spark-2.4.0-bin-hadoop2.7 /usr/local/spark/

2.4 配置环境变量
输入命令：sudo gedit ~/.bashrc
添加如下配置
使配置生效，输入命令：source ~/.bashrc

3.1HDFS常用操作
上传文件
　　hdfs dfs -put src… dest (从本地的src位置上传到HDFS的dest位置,src可以有多个,空格隔开)

复制文件
　　hdfs dfs -copyFromLocal src… dest (复制文件,从src位置复制到dest 位置,src可以有多个,空格隔开)

移动文件(剪切)
　　hdfs dfs -moveFromLocal src… dest (移动文件,从src移动到dest位置)
　
创建新目录
　　hdfs dfs -mkdir /test
　　hdfs dfs -mkdir -p /test/luo (级联创建)

往文件中追加信息
　　hdfs dfs -appendToFile cba /test/t1 (把cba的内容追加到/test文件夹下的t1文件中)

查看文件内容
　　hdfs dfs -cat /test/t1 (查看/test文件夹下的t1文件)

更改文件的属组
　　hdfs dfs -chgrp nb /test/t1 (把t1 文件的属组改为nb)
　　hdfs dfs -R -chgrp nb /test/t1 (递归修改)

更改文件的权限
　　hdfs dfs -chmod -R 777 /luo (/luo的权限改为777)

更改文件的属主及属组
　　hdfs dfs -chown -R luo:zzz /luo

将HDFS上的文件复制到本地
　　hdfs dfs -copyToLocal /t1 ./

查看文件系统的磁盘空间
　　hdfs dfs -df -h /