大三寒假生活指导

Posted quyangzhangsiyuan

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大三寒假生活指导相关的知识,希望对你有一定的参考价值。

1.FTP在主机和虚拟机之间传文件。

 

这里需要注意的是,Linux系统对文件访问权限有着严格的规定,如果目录和文件的访问权限没有授权给某个用户,那么,该用户是无法访问这些目录和文件的。所以,当使用FileZilla连接Linux虚拟机时,如果采用用户名hadoop连接,那么,就只能把文件上传到Ubuntu系统中hadoop用户的主目录,也就是“/home/hadoop”目录,是无法对其他目录进行操作的,企图把文件传输到其他目录下就会失败。如果要顺利传输到其他目录,就必须登录Ubuntu系统,使用root权限把某个目录的权限赋予给hadoop用户(后面的Linux系统基本命令会涉及到为用户授权的方法)。

 

2.spark-shell命令及其常用的参数如下:

 

    ./bin/spark-shell --master <master-url>

 

Spark的运行模式取决于传递给SparkContextMaster URL的值。Master URL可以是以下任一种形式:

* local 使用一个Worker线程本地化运行SPARK(完全不并行)

* local[*] 使用逻辑CPU个数数量的线程来本地化运行Spark

* local[K] 使用KWorker线程本地化运行Spark(理想情况下,K应该根据运行机器的CPU核数设定)

* spark://HOST:PORT 连接到指定的Spark standalone master。默认端口是7077.

* yarn-client 以客户端模式连接YARN集群。集群的位置可以在HADOOP_CONF_DIR 环境变量中找到。

* yarn-cluster 以集群模式连接YARN集群。集群的位置可以在HADOOP_CONF_DIR 环境变量中找到。

* mesos://HOST:PORT 连接到指定的Mesos集群。默认接口是5050

 

可以通过下面命令启动spark-shell环境:

 

bin/spark-shell

 

该命令省略了参数,这时,系统默认是bin/spark-shell master local[*]”,也就是说,是采用本地模式运行,并且使用本地所有的CPU核心。

 

使用命令:quit”退出Spark Shell

 

也可以直接使用Ctrl+D”组合键,退出Spark Shell

 

遇到的问题:

  1. sbt安装报错

 技术图片

产生这个错误需要把jar包里的sbt/sbt.boot.properties文件中 [repositories] 处修改为如下内容(即增加了一条 oschina 镜像,并且将原有的 https 镜像都改为相应的 http 版)

 

 

将sbt安装在/usr/local/sbt中。

$sudo mkdir /usr/local/sbt
$sudo chown -R hadoop /usr/local/sbt #username is hadoop.
$cd /usr/local/sbt
$mkdir sbtlaunch #store sbt-launch.jar

1.下载sbt-launch.jar,并存放至/usr/local/sbt/sbtlaunch
$cd /usr/local/sbt/sbtlaunch
$wget https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.13.9/sbt-launch.jar -O ./sbt-launch.jar #download sbt-launch.jar
$unzip -q ./sbt-launch.jar #解压

2.需要修改其中的./sbt/sbt.boot.properties文件,将[repositories]处修改为如下内容:
即增加一条aliyun-nexus的镜像。
$cd /usr/local/sbt/sbtlaunch
$vim ./sbt/sbt.boot.properties

修改为如下
[repositories]
local
aliyun-nexus: http://maven.aliyun.com/nexus/content/groups/public/
jcenter: http://jcenter.bintray.com/
typesafe-ivy-releases: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
maven-central
所有https改成http

3.删除原来的sbt-launch.文件,然后重新打包

$rm ./sbt-launch.jar #delete the old jar
$jar -cfM ./sbt-launch.jar . #create new jar

4.在/usr/local/sbt目录下创建sbt脚本文件并赋予可执行权限,来执行sbt-launch.jar
$cd /usr/lcoal/sbt
$vim ./sbt 

5.添加如下内容:
SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
java $SBT_OPTS -jar `dirname`/sbt-launch.jar "$@" #dirname为路径名

my dirname : /usr/local/sbt/sbtlaunch

6.保存后,为./sbt增加可执行权限

$chmod u+x ./sbt

7.检验sbt是否可用

$./sbt sbt-version

技术图片

如果出现failed就在执行$./sbt sbt-version

以上是关于大三寒假生活指导的主要内容,如果未能解决你的问题,请参考以下文章

大三寒假生活5

大三寒假生活13

大三寒假生活3

大三寒假生活2

大三寒假生活4

大三上寒假15天--第10天