hadoop01

Posted 672530440

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop01相关的知识,希望对你有一定的参考价值。

RPC:异步系统的调用,webservice是RPC的一种。webservice用于不在同一个公司的系统调用,同一个公司用socket调用。就是RPC。
Dubbo淘宝的RPC框架。
Hadoop rpc是hadoop自带的RPC框架。

阿里云就是虚拟机。虚拟机可以安装linux,unix,macos系统。

虚拟机网络连接方式不用桥接用NAT,桥接的时候在不同的地方需要更改虚拟机的地址,NAT不用更改虚拟机地址。

Linux的分区不像windows一样,分区之后就可以看到盘,linux分区之后是/里面的文件夹指向不同的盘。Boot分区指向的就是一块硬盘,linux所有的盘都是挂载在文件夹下面的。/bin是一些可执行的命令,windows的cmd、dir是命令也是程序exe文件。/boot是启动的一些相关。/dev是设备硬件。/etc是配置文件,都是约定俗称的,当然也可以改。

Linux里面的配置是文本文件,windows里面还要改注册表。

/home是用户目录,比如windows的我的文档。里面有用户名的文件夹。/lib是库文件,Linux是c语言开发的,里面都是C语言的头文件和动态链接库。Yum跟maven一样会自动下载,不用maven找不到包就报错而maven会去下载。/media是外置媒体,U盘光盘光驱挂载到media里面,linuc没有光驱这个盘都要挂载到文件系统里面去,也可以挂载到别的地方。/usr是不同的人都需要用的软件就装到这个里面。/sbin是系统管理的命令,跟bin差不多。/temp程序在工作的时候会生成临时数据。

路由器、交换机、网桥都是网络设备,路由器的功能是最强的。IP的配置是由网关决定的,路由器交换机是网关,网关有IP地址,网关ip是192.168.33.1,电脑的IP是192.168.33.2-254,255是广播地址,0-255是因为是8位2的8次方。子网掩码是看属于那个网段的,子网掩码和IP地址进行与操作出来的是网段192.168.33.0,不同电脑网段相同则是同一个网段。

DNS是域名解析服务器。DNS在每个省都有的。虚拟机里面的虚礼网卡对于linux系统而言是真实的网卡。

 

SCRSSH协议连接linux的时候,linux上面有sshd的服务端才可以连接,默认linux就有这个服务。

1. 修改Linux的基本配置

**IP地址配置,最简单的一种,在命令运行  setup,带提示,按照提示修改即可

1.修改主机名

vi /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=server1.itcast.cn

2.修改ip地址

vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

TYPE=Ethernet

ONBOOT=yes     #是否开机启用

BOOTPROTO=static   #ip地址设置为静态

IPADDR=192.168.0.101

NETMASK=255.255.255.0

service network restart

3.修改ip地址和主机名的映射关系

vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.0.101 server1.itcast.cn

4.关闭iptables并设置其开机启动/不启动

service iptables stop

chkconfig iptables on

chkconfig iptables off

 

1. 安装JDK

1.上传jdk-7u45-linux-x64.tar.gzLinux

2.解压jdk/usr/local目录

tar -zxvf jdk-7u45-linux-x64.tar.gz -C /usr/local/

3.设置环境变量,在/etc/profile文件最后追加相关内容

vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.7.0_45

export PATH=$PATH:$JAVA_HOME/bin

4.刷新环境变量

source /etc/profile

5.测试java命令是否可用

java -version

1. 安装Tomcat

1.上传apache-tomcat-7.0.68.tar.gzLinux

2.解压tomcat

tar -zxvf apache-tomcat-7.0.68.tar.gz -C /usr/local/

3.启动tomcat

/usr/local/apache-tomcat-7.0.68/bin/startup.sh

4.查看tomcat进程是否启动

jps

 

5.查看tomcat进程端口

netstat -anpt | grep 2465

6.通过浏览器访问tomcat

http://192.168.0.101:8080/

 

SSH免密登陆:ssh是远程登陆协议,

公钥和私钥是2个文件,公钥要A的身份验证信息,把公钥复制一个给BBA的公钥加入授权列表(也是一个文件)。别人可以把A的公钥拿过去冒充,BA的公钥把随机字符串加密发送给A,A用私钥解密,解密完了之后把明文发给BB进行验证之后成功就登陆了。

 

以上是关于hadoop01的主要内容,如果未能解决你的问题,请参考以下文章

[linux][c/c++]代码片段01

Apache Hadoop与Gora的组合功能

这两个代码片段有啥区别?

用片段替换某些东西

hadoop的mapreduce常见算法案例有几种

为啥此代码片段返回意外结果?