客快物流大数据项目(三十一)：常用工具安装
Posted Lansonli
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了客快物流大数据项目(三十一)：常用工具安装相关的知识，希望对你有一定的参考价值。
目录
常用工具安装
一、安装依赖包
如果不提前安装这些依赖包，在后面安装CM的时候可能会出现异常。
yum install -y cyrus-sasl-plain cyrus-sasl-gssapi portmap fuse-libs bind-utils libxslt fuse
yum install -y /lib/lsb/init-functions createrepo deltarpm python-deltarpm
yum install -y mod_ssl openssl-devel python-psycopg2 mysql-python
二、安装Apache
yum install httpd createrepo
systemctl start httpd
systemctl status httpd
三、添加MySQL驱动包
mkdir /usr/share/java
cp /export/softwares/jars/mysql-connector-java-5.1.44.jar /usr/share/java/mysql-connector-java.jar
四、禁用交换空间
| 临时生效： |
| sysctl -w vm.swappiness=10 |
| 永久生效： |
| echo "vm.swappiness=10" >> /etc/sysctl.conf |
五、禁用透明页
| 临时生效： |
| echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled |
| 永久生效： |
| echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.local echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.local |
六、配置本地Parcel存储库
| 创建/opt/cloudera/parcel-repo目录，将下载好的parcel和manifest.json文件放置到该目录，然后执行下面的命令： |
| mkdir -p /opt/cloudera/parcel-repo |
| cd /export/softwares/cdh-6.2.1/ |
| cp *parcel* manifest.json /opt/cloudera/parcel-repo/ |
| 注意：需要将.sha1校验文件复制一份为.sha |
| cp CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha1 CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha |
| mkdir -p /var/www/html/cloudera-repo |
| cd /export/softwares/cdh-6.2.1/ |
| cp *rpm RPM-GPG-KEY-cloudera manifest.json /var/www/html/cloudera-repo |
| cd /var/www/html/cloudera-repo |
| 执行：createrepo . |
七、配置CM的YUM源
| vi /etc/yum.repos.d/cloudera-manager.repo（此时不存在该文件，确保文件内容为如下） |
| [cloudera-manager] name=Cloudera Manager 6.2.1 baseurl=http://node2/cloudera-repo/ gpgkey=http://node2/cloudera-repo/RPM-GPG-KEY-cloudera gpgcheck=1 enabled=1 autorefresh=0 type=rpm-md |
| 然后执行：yum clean all && yum makecache |
八、安装CDH所需要的依赖包
yum install edhat-lsb portmap mod_ssl openssl-devel python-psycopg2 MySQL-python chkconfig bind-utils libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs九、安装MySQL
| wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm |
| yum localinstall mysql57-community-release-el7-8.noarch.rpm yum install mysql-community-server systemctl start mysqld systemctl status mysqld |
| grep 'temporary password' /var/log/mysqld.log //会生成临时密码 |
| mysql -uroot -p”sZlks?>yp2L>” |
| 取消mysql密码规范限制 |
| set global validate_password_policy=0; |
| set global validate_password_length=1; |
| 重设密码 |
| alter user 'root'@'localhost' identified by '123456'; |
| GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION; |
| flush privileges; |
| 退出mysql客户端，使用新密码重新登录 |
| mysql -uroot -p123456 |
十、安装JDK
| tar -zxf /export/softwares/jdk-8u221-linux-x64.tar.gz -C /usr/java/ ln -s /usr/java/jdk1.8.0_221 /usr/java/jdk |
| vim /etc/profile |
| export JAVA_HOME=/usr/java/jdk export PATH=.:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH |
| source /etc/profile |
- 📢博客主页：https://lansonli.blog.csdn.net
- 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！
- 📢本文由 Lansonli 原创，首发于 CSDN博客🙉
- 📢大数据系列文章会每天更新，停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨
以上是关于客快物流大数据项目(三十一)：常用工具安装的主要内容，如果未能解决你的问题，请参考以下文章
客快物流大数据项目(三十八)：安装Azkaban-3.71.0