大三寒假生活指导

Posted 2021-03-16 quyangzhangsiyuan

1.FTP在主机和虚拟机之间传文件。

 

这里需要注意的是，Linux系统对文件访问权限有着严格的规定，如果目录和文件的访问权限没有授权给某个用户，那么，该用户是无法访问这些目录和文件的。所以，当使用FileZilla连接Linux虚拟机时，如果采用用户名hadoop连接，那么，就只能把文件上传到Ubuntu系统中hadoop用户的主目录，也就是“/home/hadoop”目录，是无法对其他目录进行操作的，企图把文件传输到其他目录下就会失败。如果要顺利传输到其他目录，就必须登录Ubuntu系统，使用root权限把某个目录的权限赋予给hadoop用户（后面的Linux系统基本命令会涉及到为用户授权的方法）。

 

2.spark-shell命令及其常用的参数如下：

 

    ./bin/spark-shell --master <master-url>

 

Spark的运行模式取决于传递给SparkContext的Master URL的值。Master URL可以是以下任一种形式：

* local 使用一个Worker线程本地化运行SPARK(完全不并行)

* local[*] 使用逻辑CPU个数数量的线程来本地化运行Spark

* local[K] 使用K个Worker线程本地化运行Spark（理想情况下，K应该根据运行机器的CPU核数设定）

* spark://HOST:PORT 连接到指定的Spark standalone master。默认端口是7077.

* yarn-client 以客户端模式连接YARN集群。集群的位置可以在HADOOP_CONF_DIR 环境变量中找到。

* yarn-cluster 以集群模式连接YARN集群。集群的位置可以在HADOOP_CONF_DIR 环境变量中找到。

* mesos://HOST:PORT 连接到指定的Mesos集群。默认接口是5050。

 

可以通过下面命令启动spark-shell环境：

 

bin/spark-shell

 

该命令省略了参数，这时，系统默认是“bin/spark-shell –master local[*]”，也就是说，是采用本地模式运行，并且使用本地所有的CPU核心。

 

使用命令“:quit”退出Spark Shell

 

也可以直接使用“Ctrl+D”组合键，退出Spark Shell。

 

遇到的问题：

1. sbt安装报错

 

产生这个错误需要把jar包里的sbt/sbt.boot.properties文件中将 [repositories] 处修改为如下内容（即增加了一条 oschina 镜像，并且将原有的 https 镜像都改为相应的 http 版）

 

 

将sbt安装在/usr/local/sbt中。

$sudo mkdir /usr/local/sbt
$sudo chown -R hadoop /usr/local/sbt #username is hadoop.
$cd /usr/local/sbt
$mkdir sbtlaunch #store sbt-launch.jar

1.下载sbt-launch.jar,并存放至/usr/local/sbt/sbtlaunch
$cd /usr/local/sbt/sbtlaunch
$wget https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.13.9/sbt-launch.jar -O ./sbt-launch.jar #download sbt-launch.jar
$unzip -q ./sbt-launch.jar #解压

2.需要修改其中的./sbt/sbt.boot.properties文件,将[repositories]处修改为如下内容：
即增加一条aliyun-nexus的镜像。
$cd /usr/local/sbt/sbtlaunch
$vim ./sbt/sbt.boot.properties

修改为如下
[repositories]
local
aliyun-nexus: http://maven.aliyun.com/nexus/content/groups/public/
jcenter: http://jcenter.bintray.com/
typesafe-ivy-releases: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
maven-central
所有https改成http

3.删除原来的sbt-launch.文件，然后重新打包

$rm ./sbt-launch.jar #delete the old jar
$jar -cfM ./sbt-launch.jar . #create new jar

4.在/usr/local/sbt目录下创建sbt脚本文件并赋予可执行权限，来执行sbt-launch.jar
$cd /usr/lcoal/sbt
$vim ./sbt 

5.添加如下内容:
SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
java $SBT_OPTS -jar `dirname`/sbt-launch.jar "$@" #dirname为路径名

my dirname ： /usr/local/sbt/sbtlaunch

6.保存后，为./sbt增加可执行权限

$chmod u+x ./sbt

7.检验sbt是否可用

$./sbt sbt-version

如果出现failed就在执行$./sbt sbt-version