大数据系列——Hadoop集群MYSQL的安装

Posted 36大数据

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据系列——Hadoop集群MYSQL的安装相关的知识,希望对你有一定的参考价值。

文|指尖流淌


前言


有一段时间没写文章了,最近事情挺多的,现在咱们回归正题,经过前面四篇文章的介绍,已经通过VMware安装了Hadoop的集群环境,相关的两款软件VSFTP和SecureCRT也已经正常安装了。


本篇主要介绍在大数据应用中比较常用的一款软件mysql,我相信这款软件不紧紧在大数据分析的时候会用到,现在作为开源系统中的比较优秀的一款关系型开源数据库已经被很多互联网公司所使用,而且现在正慢慢的壮大中。


在大数据分析的系统中作为离线分析计算中比较普遍的两种处理思路就是:1、写程序利用mapper-Reducer的算法平台进行分析;2、利用Hive组件进行书写Hive SQL进行分析。


第二种方法用到的Hive组件存储元数据最常用的关系型数据库最常用的就是开源的MySQL了,这也是本篇最主要讲解的。


闲言少叙,进入本篇的内容。


技术准备


VMware虚拟机、CentOS 6.8 64 bit、SecureCRT、VSFTP、Notepad++


软件下载


默认进入的页面是企业版,这个是要收费的,这里一般建议选择社区开源版本,土豪公司除外。

大数据系列(5)——Hadoop集群MYSQL的安装


然后选择相应的版本,这里我们选择通用的Server版本,点击Download下载按钮,将安装包下载到本地。


大数据系列(5)——Hadoop集群MYSQL的安装


下载完成,上传至我们要安装的系统目录。


大数据系列(5)——Hadoop集群MYSQL的安装


这里,需要提示下,一般在Linux系统中大型公用的软件安装在/opt目录中,比如上图我已经安装了Sql Server On linux,默认就安装在这个目录中,这里我手动创建了mysql目录。


将我们下载的MySQL安装介质,上传至该目录下。


安装流程


1、首先解压当前压缩包,进入目录

cd /opt/mysql/
tar -xf mysql-5.7.16-1.el7.x86_64.rpm-bundle.tar

大数据系列(5)——Hadoop集群MYSQL的安装


这样,我们就完成了这个安装包的解压。


2、创建MySql超级管理用户


这里我们需要单独创建一个mySQL的用户,作为MySQL的超级管理员用户,这里也方便我们以后的管理。

groupadd mysql

添加用户组

useradd -g mysql mysql

添加用户

id mysql

查看用户信息。


大数据系列(5)——Hadoop集群MYSQL的安装


3、安装mysql RPM安装包,详细的过程如下

rpm -ivh *.rpm

这里报了一个错误,错误明细如下:


大数据系列(5)——Hadoop集群MYSQL的安装


之前装的时候应该不会出现这个错误,我查了一下,这个错误的原因是因为我现在装的OS版本为7.0,在CentOS7.0版本中已经嵌入了自带的数据系统mariadb。


以前的linux系统中大部分的数据库采用的都是Mysql,但是MYSQL这货自从被sun收购之后,sun公司叫嚣着要收费服务等措施,所以在以后的CentOS系统中就没有再集成它了,并且又搞出了一个新的数据库mariadb.所以这里我们安装mysql会有冲突,这里我们就需要先卸载这个。


卸载过程如下:


<1>列出所有的被安装的rpm package

 rpm -qa | grep mariadb

大数据系列(5)——Hadoop集群MYSQL的安装


就是上面这货,我们需要先卸载它。


<2>卸载mariadb软件

rpm -e mariadb-libs-5.5.37-1.el7_0.x86_64

结果报错,丫的不让你卸载,报错如下:


大数据系列(5)——Hadoop集群MYSQL的安装


这里我们忽视掉这个错误信息,采用强制卸载的这个软件

 rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64

大数据系列(5)——Hadoop集群MYSQL的安装


这里,可以看到我们已经强制卸载了这个软件,下面的步骤就是安装Mysql了。


安装过程要按照如下顺序(必须)进行:


  • mysql-community-common-5.7.9-1.el7.x86_64.rpm

  • mysql-community-libs-5.7.9-1.el7.x86_64.rpm             –(依赖于common)

  • mysql-community-client-5.7.9-1.el7.x86_64.rpm          –(依赖于libs)

  • mysql-community-server-5.7.9-1.el7.x86_64.rpm         –(依赖于client、common)


按照以上顺序进行一个个的安装,脚本如下:

rpm -ivh mysql-community-server-5.7.16-1.el7.x86_64.rpm

但是,安装的过程中有可能出现以下错误


大数据系列(5)——Hadoop集群MYSQL的安装


这个错误的提示的是,这里的Server版本需要perl组件进行安装,所以这里我们需要先将这个组件安装上去

yum install perl

大数据系列(5)——Hadoop集群MYSQL的安装


可以看到这里已经安装成功了。


下面,我们继续安装MYSQL的Server包。

rpm -ivh mysql-community-server-5.7.16-1.el7.x86_64.rpm

安装完上面的rpm包之后,我们就需要配置相关权限,然后启动serve。
这里需要提示下:


mysql安装软件在/usr/share/mysql目录下


Mysql数据库创建在/var/lib/mysql目录下


我们进入到mysql这个目录中,更改一下权限:

cd /usr/share/mysql/
chown -R mysql:mysql .

下面,我们来启动这个Server,来查看一下。


这里需要提示一下,应该避免以root用户启动,要用我们新建的mysql用户进行启动。

service mysqld restart

这时候我们连接之后需要添加上权限。


在/ect/my.cnf 的最后面加上一行:skip-grant-tables
然后重启服务器就行了。

service mysqld restart


至此,我们完成了MySQL的安装过程。


结语


此篇先到此吧,关于Hadoop大数据集群的搭建后续依次介绍,比如利用Zookeeper搭建Hadoop高可用平台、Map-Reducer层序的开发、Hive产品的数据分析、Spark的应用程序的开发、Hue的集群坏境的集成和运维、Sqoop2的数据抽取等,有兴趣的童鞋可以提前关注。






 End 

阅读排行榜/精华推荐
1
入门学习

 

2
进阶修炼

3
数据源爬取/收集

4
干货教程

              

 


客观角度 干货第一
全球视野 最具价值
讲述大数据在金融、电信、工业、商业、电子商务、网络游戏、移动互联网等多个领域的应用,以中立、客观、专业、可信赖的态度,多层次、多维度地影响着最广泛的大数据人群

搜索「36大数据」或输入36dsj.com查看更多内容。

投稿/商务/合作:dashuju36@qq.com
微信号:dashuju36



点击下方 “阅读原文”查看更多
↓↓↓

以上是关于大数据系列——Hadoop集群MYSQL的安装的主要内容,如果未能解决你的问题,请参考以下文章

大数据系列——Hadoop集群完全分布式坏境搭建

大数据系列之Hadoop分布式集群部署

大数据系列hadoop单节点安装官方文档翻译

0基础搭建Hadoop大数据处理-集群安装

Hadoop 视频教程 大数据 高性能 集群 NoSQL 实战 权威 入门 安装

大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解