hadoop搭建准备事项

Posted 2020-09-11 winvv

准备一：VMware虚拟工具：

链接：http://pan.baidu.com/s/1o7F4A6I 密码：w5ti

准备二：CentOS6.8虚拟机（64位）：如果64位不允许安装，可能是电脑设置问题，重启电脑打开Bios，设置虚拟机的选项为enable

链接：http://pan.baidu.com/s/1b0tXN4 密码：oxzz

　　内存（memory）一般1G以上，Network Adapter要设置成NAT，不然虚拟机跟电脑之间不能通信（也许是我太菜）

　　进入虚拟机的桌面（如果你是命令行的状态，可以键入startx进入），右上角两个电脑图标右击选择edit编辑，可以上面左图，edit编辑eth0，设置IP即可，

注意：ip地址的前三位要跟你的电脑IP一样（本机windows下 命令行键入ipconfig即可查看）

上面修改IP过后，是可以连接上的，但是会出现问题，yum下载文件一直出错误，所以如果你也出现yum install安装失败的时候，可以尝试自动分配IP地址的方式（知道原因的还请交流，谢谢了）

 

准备三：securecrt8.0带有注册机，自行破解，用于连接虚拟机

链接：http://pan.baidu.com/s/1nuJAt65 密码：s3p9

　　闪电图标快速连接，输入虚拟机的ip地址（右键open in terminal进入命令行，键入ifconfig查看IP地址），输入用户名连接即可，注意要关闭虚拟机的防火墙（键入service iptables stop）,如果可以连接才会让你输入密码。

CRT想要给虚拟机上传文件，是需要安装软件的，键入下面即可安装，中间一律键入y（如果出现错误：可能是自己设置IP没设置好弄的，我的错误正是如此，改用自动分配可以解决）

yum install lrzsz

上传到linux系统文件，键入rz即可选择文件夹上传，上传到位置是你位于虚拟机当前文件夹的位置，可以使用mv移动到你想要的位置，也可以直接当你想要位置的目录下使用rz

准备四：Linux环境下64位JDK7

链接：http://pan.baidu.com/s/1jI4xB2e 密码：ehzd

　　1.是给linux系统安装jdk是必须的（因为要跑java程序），首先查看系统自带的jdk版本，解释一下，qa是query all的意思，|是管道，grep是搜索系统，用于搜索后面的关键字

rpm -qa|grep java

　　2.如果有自带的jdk(而且不属于orcle的)，就需要卸载掉了,后面可以同时跟上多个要卸载的文件

rpm -e --nodeps file1 file2 file3 

　　3.从securecrt上用rz来上传，所下载的jdk（jdk-7u67-linux-x64.tar.gz），我保存在了/usr/local/java/下面，然后解压它即可,filename是你想解压的文件。如果不加上-C以及后面的内容，则是解压到当前路径下，加上-C filepath即可解压到所设置到的绝对路径下面。

tar -zvxf filename -C filepath

　　4.配置一下环境变量，所谓环境变量，就是一个程序中的全局变量，只有定义了全局变量，才可以在任何位置调用，jdk环境变量的配置是在/etc/profile文件中

vi /etc/profile

　　5.命令行状态大写G直接到达最后一行，然后命令行状态键入o直接在下一行进行编辑状态，加上下面两行，JAVA_HOME就一个基础变量，$可以调用变量，PATH变量配置了jdk的路径$JAVA_HOME/bin 便是 /usr/local/java/jdk1.7.0_67/bin的意思。

export JAVA_HOME=/usr/local/java/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin

　　6.最后要使配置的profile不重启也可生效

source /etc/profile

　　7.完成之后就可以键入java -version查看安装的状态了。

[root@localhost jdk1.7.0_67]# java -version
java version "1.7.0_67"
Java(TM) SE Runtime Environment (build 1.7.0_67-b01)
Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)

　　8.jdk至此便安装成功了。

准备五：FileZilla用于给虚拟机上传文件(也可以用CRT的rz上传)

链接：http://pan.baidu.com/s/1mhOwkWw 密码：4a2s

1.我使用的是ftp工具，首先需要在linux上安装vsftp和db4

yum install vsftpd*

yum install db4*

2.待定

准备六：NppFTP，使用Nodepad++的时候，用于连接虚拟机的插件，在linux环境下编辑文件简直变态，安装这个插件后可以直接进行FTP连接，然后编辑

链接：http://pan.baidu.com/s/1miqMxXu 密码：8btr

下载后的插件放在nodepad++的安装目录下，启动nodepad，上方工具栏的插件选项NppFTP，选择show Nppftp window,就会出现下面图标，

点击过后右边就会出现框体，点击设置图标（锯齿轮），选择profile settings，出现下面设置，左脚脚add new可以新建一个连接，填上linux的信息，注意选择的是SFTP方式。

相信大家都希望以平时的编辑方式编辑把，这个一定是一大助力。

准备七：Hadoop(hadoop-2.5.0.tar.gz)

链接：http://pan.baidu.com/s/1i5uWsJV 密码：lfd1

准备八：Maven(apache-maven-3.0.5-bin.tar.gz)

http://www.apache.org/dist//maven/maven-3/3.0.5/binaries/

　　1.解压下载好的maven,注意你想解压的路径

tar -zvxf apache-maven-3.0.5-bin.tar.gz -C /usr/local/java/

　　2.配置maven的环境变量，大写G进入配置文件末尾，小写o进入下一行编辑状态，最后esc进入命令状态，大写ZZ保存编辑

vi /etc/profile

　　　　export MAVEN_HOME=/usr/local/java/apache-maven-3.0.5
　　　　export PATH=$PATH:$MAVEN_HOME/bin

　　3.更新profile，使之立即生效

source /etc/profile

　　4.配置maven，maven有个默认的本地仓库，.m2/repository，为其手动创建一个

mkdir -p ~/.m2/repository

　　5.maven会联网自动从中心仓库中下载需求的jar包，速度可能会慢，这里本地给解压一个（可以不用此步骤）

tar -zvxf repository.tar.gz -C ~/.m2/

　　6.复制一份settings.xml到仓库中

cp ~/.m2/repository/conf/settings/xml .

准备九：eclipse

链接：http://pan.baidu.com/s/1miwmj48 密码：v7vl

　　1.解压

tar -zvxf eclipse-jee-kepler-SR1-linux-gtk-x86_64.tar.gz -C /usr/local/java

　　2.运行（/usr/local/java/eclipse目录下）

./eclipse

　　3.修改一下快捷键（为了方便）,但是alt+/有其他设置（发生冲突了），修改掉

window-->preference-->key-->content assist-->修改binding为alt+/

window-->preference-->key-->word completion-->空

　　4.配置自己安装的maven

window-->preference-->maven-->设置安装路径

准备十：Hive

链接：http://pan.baidu.com/s/1hsFr1TM 密码：g4he

　　1.直接解压即可

　　2.配置hive-env.sh

　　　　这里需要配置HADOOP_HOME和HIVE_CONF_DIR 

　　3.配置hive-site.xml(需要自己创建)　　

　　　　注意：自己用touch创建，需要先进去随意编写一下，不能直接用nodepad或者ultaredit编写，不然会出现字符编码不一致的问题

　　4.启动bin/hive，就可以发现与hive连接配置的mysql会自动生成一个metastore的数据库（个人情况）

准备十一：mysql

链接：http://pan.baidu.com/s/1dFmrsVf 密码：tnbx

　　1.zip文件，用unzip直接解压

　　2.查看系统是否自带的mysql,如果自带有，先卸载自带的

查看是否安装软件：rpm -qa|grep mysql

卸载软件：　　　　rpm -e --nodeps mysql-libs-5.1.66-2.el6_3.x86_64

　　3.赋予要安装的文件执行权限

chmod u+x ./*　　后面的./*表示当前路径下所有文件

　　4.安装步骤1解压得到的rpm的包（server），注意此步骤会生成一个随机密码，需要查看一下

rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm

信息提示：A RANDOM PASSWORD HAS BEEN SET FOR THE MySQL root USER !
　　　　　　You will find that password in \'/root/.mysql_secret\'.
查看一下/root/.mysql_secret文件：

cat /root/.mysql_secret　　　　得到随机密码类似（Su75mBdHIFKiYBxs）

　　5.安装步骤1得到的mysql客户端（client）：

rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm

　　6.安装完成后即可登陆mysql（注意登陆前开始mysql服务，service mysql start ）

mysql -uroot -pSu75mBdHIFKiYBxs　　　后面的Su75mBdHIFKiYBxs就是上面得到的随机密码

　　7.鉴于上面自动生成的恶心密码...需要自己改一下，用随机密码登陆进去，在mysql>下键入

SET PASSWORD=PASSWORD(\'123456\');

　　8.退出mysql(注意mysql的命令都是要加上分号;才会结束当前语句的)

exit;

　　9.还可以修改mysql下，mysql数据库，user表，登陆用户为任意（即设置为%）

update user set Host=\'%\' where User=\'root\' and Host=\'localhost\';

　　注意：必须删除其他的root数据，只保留%这条，亲测如果不删除...运行bin/hive的时候请求会被拒绝，删除后还需要刷新一下flush privileges;

10.解压步骤1中的tar包

tar -zvxf mysql-connector-java-5.1.27.tar.gz

　　11.拷贝刚刚解压出来的文件夹中mysql驱动jar包，mysql-connector-java-5.1.27-bin.jar到hive安装目录的lib文件夹下面

cp mysql-connector-java-5.1.27-bin.jar /usr/local/hive/hive-0.13.1/lib/