大数据平台cdh5.3.x 的安装配置
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据平台cdh5.3.x 的安装配置相关的知识，希望对你有一定的参考价值。
- 一： CentOS6.8x64 环境初始化
- 二： cdh5.3.x 安装使软件配置
##一： CentOS6.8x64 环境初始化
1.1 系统主机名配置
192.168.3.1 master.hadoop.com master
192.168.3.2 slave1.hadoop.com slave1
192.168.3.3 slave2.hadoop.com slave21.2 关闭iptables 与selinux 与禁用IPv6
1. 关闭iptables
iptables -F
service iptables save
service iptables stop
chkconfig iptables off
2. 关闭selinux
vim /etc/selinx/config
SELINUX=disabled
3. 禁用IPv6 （从新启动系统验证）
# echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf
# echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf
1.3 做无密钥认证
2. 做hadoop用户无密钥认证
ssh-keygen ---一直敲回车到最后
cat id_rsa.pub >> authorized_keys
将所有的公钥导入authorized_keys 分发到 所有的 机器的.ssh/ 下面
然后测试
1.4 卸载openjdk 的rpm 包
rpm -e --nodeps xxx yyy zzz (包含jdk 的rpm 包)1.5 安装jdk
rpm -ivh jdk-7u79-linux-x64.rpm
vim /etc/profile
增加环境变量
export JAVA_HOME=/usr/java/jdk1.7.0_79
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/opt/cloudera/parcels/CDH
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:${HADOOP_HOME}/bin1.6 设置进程的参数：（所有节点都配置）
设置文件打开数量和用户最大进程数
>> 文件打开数量
$ ulimit -a
>> 用户最大进程数
$ ulimit -u
>> 设置
$ sudo vi /etc/security/limits.conf
内容：
* soft nofile 32728
* hard nofile 1029345
* soft nproc unlimited
* hard nproc unlimited
* soft memlock unlimited
* hard memlock unlimited 
1.7 配置时间同步服务器
1. master:
vim /etc/ntp.conf 增加
restrict 192.168.3.0 mask 255.255.255.0 nomodify notrap
vim /etc/sysconfig/ntpd
echo "SYSNC_HWCLOCK=yes" >> /etc/sysconfig/ntpd
2. slave1,slave2 同步master
crontab -l
*/5 * * * * /usr/sbin/ntpdate 192.168.3.1
3. 同步到blos 时间
hwclock --localtime -w
1.8 安装mysql 数据库
1. 卸载原有数据库
rpm -qa |grep mysql
rpm -e mysql-libs-* --nodeps
2. 安装新版本的数据库：
rpm -ivh MySQL-server-5.6.31-1.el6.x86_64.rpm
rpm -ivh MySQL-client-5.6.31-1.el6.x86_64.rpm
rpm -ivh MySQL-devel-5.6.31-1.el6.x86_64.rpm
rpm -ivh MySQL-embedded-5.6.31-1.el6.x86_64.rpm
rpm -ivh MySQL-shared-5.6.31-1.el6.x86_64.rpm
rpm -ivh MySQL-shared-compat-5.6.31-1.el6.x86_64.rpm
rpm -ivh MySQL-test-5.6.31-1.el6.x86_64.rpm
---启动mysql---
service mysql start
mysql 的 初次使用密码在 ： cat .mysql_secret
----更改mysql 密码：
mysql -uroot -p7OR2voJyB72iT4Px
mysql> set password = password(‘123456‘);
mysql> flush privileges;
二： cdh5.3.x 安装使软件配置
2.1 安装CM 所依赖的包：(全部节点都安装)
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb2.2. 创建安装CM 的目录 所有节点全部配置：（三台机器全部配置）
1.mkdir /opt/cloudera-manager
上传已经下载好的CM 5.3.6 软件
cloudera-manager-el6-cm5.3.6_x86_64.tar.gz
去哪里下载：
http://archive.cloudera.com/cm5/cm/5/
2. 解压到/opt/cloudera-manager (所有节点全部配置)
tar -zxvf cloudera-manager-el6-cm5.3.6_x86_64.tar.gz -C /opt/cloudera-manager
----
3. 修改agent 的配置文件config.ini (所有节点全部更改)
cd /opt/cloudera-manager/cm-5.3.6/etc/cloudera-scm-agent
vim config.ini
server_host=master.hadoop.com
4. 创建cloudera-scm 用户用作安装（节点全部配置)
#useradd --system --home=/opt/cloudera-manager/cm-5.3.6/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
2.3 初始化cloudema-manager表的设置
mysql 授权用户处理：
mysql -uroot -p123456
---- 先在mysql创建用户名（temp）、密码（temp）
grant all privileges on *.* to ‘temp‘@‘%‘ identified by ‘temp‘ with grant option;
grant all privileges on *.* to ‘scm‘@‘%‘ identified by ‘scm‘ with grant option;
grant all privileges on *.* to ‘temp‘@‘master.hadoop.com‘ identified by ‘temp‘ with grant option;
flush privileges;2.4 执行cloudera-manager创表脚本
拷贝jdbc 到 java的目录
tar -zxvf mysql-connector-java-5.1.42.tar.gz
cd mysql-connector-java-5.1.42
cp mysql-connector-java-5.1.42-bin.jar /usr/share/java/
cd /usr/share/java/
mv mysql-connector-java-5.1.42-bin.jar mysql-connector-java.jar
脚本：scm_prepare_database.sh
/opt/cloudera-manager/cm-5.3.6/share/cmf/schema/scm_prepare_database.sh mysql -h node01.yangyang.com -utemp -ptemp --scm-host node01.yangyang.com scm scm scm
在mysql 中生成数据表scm
2.5 制作cdh 的本地源
1. cloudera-manager-server 节点：
mkdir -p /opt/cloudera/parcel-repo
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/
mkdir -p /opt/cloudera/parcels
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels/
2. cloudera-manager-agent 节点：(所有节点)
mkdir -p /opt/cloudera/parcels
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels/
3. 上传文件
CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.parcel 与 CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1 （把这个末尾的1去掉） 文件到 /opt/cloudera/parcel-repo
mv CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1 CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/
2.6 启动CM-server与agent-server
master.hadoop.com 主机
cd /opt/cloudera-manager/cm-5.3.6/etc/init.d
./cloudera-scm-server start 
查看启动日志
查看启动结果：
需要通过查看server的启动日志文件
/opt/cloudera-manager/cm-5.3.6/log/cloudera-scm-server
tail -f cloudera-scm-server.log
看到jetty 表示启动成功
查看端口号：
netstat -nultp
看到 7180 表示启动成功
2.7 打开界面进行安装CM 组建
http://master.hadoop.com:7180
用户名： admin 密码：admin
选择免费版本
下一步
启动master.slave1与slave2 节点的agentmaster:
cd /opt/cloudera-manager/cm-5.3.6/etc/init.d
./cloudera-scm-agent start
slave1:
cd /opt/cloudera-manager/cm-5.3.6/etc/init.d
./cloudera-scm-agent start
slave2:
cd /opt/cloudera-manager/cm-5.3.6/etc/init.d
./cloudera-scm-agent start
点击：管理的主机
下一步：
下一步：
下一步：
下一步：
在三台机上面执行：
echo "0" > /proc/sys/vm/swappiness
cat /proc/sys/vm/swappiness
sysctl -p
echo "never" > /sys/kernel/mm/redhat_transparent_hugepage/defrag
vim /etc/rc.d/rc.local
在最后加上：
echo "never" > /sys/kernel/mm/redhat_transparent_hugepage/defrag
---
然后从新运行处理
下一步：
下一步：选择自定义安装：
安装一个hdfs
分配角色
下一步：
点击完成即可。
配置服务器组建，根据配置增加服务
以上是关于大数据平台cdh5.3.x 的安装配置的主要内容，如果未能解决你的问题，请参考以下文章