寒假学习第三天

Posted lishengming00

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了寒假学习第三天相关的知识,希望对你有一定的参考价值。

今天进行了Spark的安装。

1.1 下载安装包
进入Scala下载页面,下拉,找到tgz包

技术图片

 

 

右击,复制链接如下
https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz
在master的命令行中输入:
wget https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz

2 安装Spark
2.1 下载安装包

复制结果如下:http://mirrors.shu.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz
输入命令:wget http://mirrors.shu.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz


2.2 解压
输入命令:tar zxf spark-2.4.0-bin-hadoop2.7.tgz

2.3 迁移目录
输入命令:sudo mv spark-2.4.0-bin-hadoop2.7 /usr/local/spark/

2.4 配置环境变量
输入命令:sudo gedit ~/.bashrc
添加如下配置
使配置生效,输入命令:source ~/.bashrc

3.1HDFS常用操作
上传文件
  hdfs dfs -put src… dest (从本地的src位置上传到HDFS的dest位置,src可以有多个,空格隔开)

复制文件
  hdfs dfs -copyFromLocal src… dest (复制文件,从src位置复制到dest 位置,src可以有多个,空格隔开)

移动文件(剪切)
  hdfs dfs -moveFromLocal src… dest (移动文件,从src移动到dest位置)
 
创建新目录
  hdfs dfs -mkdir /test
  hdfs dfs -mkdir -p /test/luo (级联创建)

往文件中追加信息
  hdfs dfs -appendToFile cba /test/t1 (把cba的内容追加到/test文件夹下的t1文件中)

查看文件内容
  hdfs dfs -cat /test/t1 (查看/test文件夹下的t1文件)

更改文件的属组
  hdfs dfs -chgrp nb /test/t1 (把t1 文件的属组改为nb)
  hdfs dfs -R -chgrp nb /test/t1 (递归修改)

更改文件的权限
  hdfs dfs -chmod -R 777 /luo (/luo的权限改为777)

更改文件的属主及属组
  hdfs dfs -chown -R luo:zzz /luo

将HDFS上的文件复制到本地
  hdfs dfs -copyToLocal /t1 ./

查看文件系统的磁盘空间
  hdfs dfs -df -h /

以上是关于寒假学习第三天的主要内容,如果未能解决你的问题,请参考以下文章

软件创新实验室2021年寒假集训Java技术培训——Java前置知识学习

我的快乐寒假-第三天-王梓烨

寒假每日一题蛇形矩阵(个人练习)详细题解+推导证明(第三天)

软件创新实验室2021年寒假集训Java技术培训——Java基础

软件创新实验室2021年寒假集训Java后端开发漫谈及感悟分享

20145327寒假第一周学习总结