寒假学习进度-2

Posted 2021-03-15 liujinxin123

Spark的安装和使用

安装的是spark-2.1.0-bin-without-hadoop.tgz

修改了Spark的配置文件spark-env.sh

添加了配置信息：

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

Spark的使用

在终端中首先要切换到Spark的目录

cd /usr/local/spark

之后通过输入

bin/spark-shell进入编辑模式

如果需要用到HDFS还需要启动Hadoop

读取本地文件

val textFile=sc.textFile("file:///home/hadoop/test.txt") 

在 spark-shell 中读取 HDFS 系统文件

val textFile=sc.textFile("hdfs://localhost:9000/user/hadoop/test.txt")