大数据:从入门到XX

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据:从入门到XX相关的知识,希望对你有一定的参考价值。

        开始准备安装hive2.1.0了,hive的安装涉及到元数据-metastore存储的问题,hive元数据支持多种数据库,此处只考虑一般的mysql数据库。首先查询hive2.1.0相关的元数据库兼容性要求,访问hive的wiki网站:https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin,大约一分钟后,页面终于打开了,数据库的版本要求如下表:

DatabaseMinimum Supported VersionName for Parameter ValuesSee Also
Postgres9.1.13postgres
Oracle11goraclehive.metastore.orm.retrieveMapNullsAsEmptyStrings
MySQL5.6.17mysql
MS SQL  Server2008 R2mssql

    从上表可以看出,mysql版本必须是5.6.17,确认了一下我的linux版本及linux自带的已经安装的mysql版本,发现预装的mysql版本太低了。

[[email protected] ~]# lsb_release -a
LSB Version:    :core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-amd64:printing-4.0-noarch
Distributor ID: RedHatEnterpriseServer
Description:    Red Hat Enterprise Linux Server release 6.3 (Santiago)
Release:        6.3
Codename:       Santiago

    再查看一下预装的mysql版本:

[[email protected] ~]# rpm -qa|grep -i ‘MYSQL‘
qt-mysql-4.6.2-24.el6.x86_64
mod_auth_mysql-3.0.0-11.el6_0.1.x86_64
php-mysql-5.3.3-3.el6_2.8.x86_64
mysql-libs-5.1.61-4.el6.x86_64
mysql-5.1.61-4.el6.x86_64
mysql-server-5.1.61-4.el6.x86_64
mysql-devel-5.1.61-4.el6.x86_64
mysql-connector-odbc-5.1.5r1144-7.el6.x86_64
MySQL-python-1.2.3-0.3.c1.1.el6.x86_64
perl-DBD-MySQL-4.013-3.el6.x86_64
rsyslog-mysql-5.8.10-2.el6.x86_64

        于是从mysql官网重新下载了mysql5.6.17版本,下载地址如下表所示,不过似乎这个地址现在又不能访问了。

http://cdn.mysql.com/Downloads/MySQL-5.6/MySQL-client-5.6.17-1.linux_glibc2.5.x86_64.rpm
http://cdn.mysql.com/Downloads/MySQL-5.6/MySQL-server-5.6.17-1.linux_glibc2.5.x86_64.rpm
http://cdn.mysql.com/Downloads/MySQL-5.6/MySQL-devel-5.6.17-1.linux_glibc2.5.x86_64.rpm

    下面说明mysql的详细安装过程。


1、逐条移除linux系统上已经安装的mysql安装包。

[[email protected] ~]# rpm -e qt-mysql-4.6.2-24.el6.x86_64 --nodeps
[[email protected] ~]# rpm -e mod_auth_mysql-3.0.0-11.el6_0.1.x86_64 --nodeps
[[email protected] ~]# rpm -e php-mysql-5.3.3-3.el6_2.8.x86_64 --nodeps
[[email protected] ~]# rpm -e mysql-libs-5.1.61-4.el6.x86_64 --nodeps
[[email protected] ~]# rpm -e mysql-5.1.61-4.el6.x86_64 --nodeps
[[email protected] ~]# rpm -e mysql-server-5.1.61-4.el6.x86_64 --nodeps
[[email protected] ~]# rpm -e mysql-devel-5.1.61-4.el6.x86_64 --nodeps
[[email protected] ~]# rpm -e mysql-connector-odbc-5.1.5r1144-7.el6.x86_64 --nodeps
[[email protected] ~]# rpm -e MySQL-python-1.2.3-0.3.c1.1.el6.x86_64 --nodeps
[[email protected] ~]# rpm -e perl-DBD-MySQL-4.013-3.el6.x86_64 --nodeps
[[email protected] ~]# rpm -e rsyslog-mysql-5.8.10-2.el6.x86_64 --nodeps

2、如果已经安装过mysql,需要彻底卸载mysql,删除残留文件。

[[email protected] ~]# rm -rf /usr/my*
[[email protected] ~]# rm /root/.mysql_secret
[[email protected] ~]# rm -rf /var/lib/mysql
[[email protected] ~]# rm -rf /usr/lib64/mysql

3、将下载的安装包传到linux服务器,然后在rpm包所在目录执行以下命令:

[[email protected] hadoop]# rpm -ivh MySQL-client-5.6.17-1.linux_glibc2.5.x86_64.rpm
Preparing...                ########################################### [100%]
   1:MySQL-client           ########################################### [100%]
[[email protected] hadoop]# rpm -ivh MySQL-devel-5.6.17-1.linux_glibc2.5.x86_64.rpm
Preparing...                ########################################### [100%]
   1:MySQL-devel            ########################################### [100%]
[[email protected] hadoop]# rpm -ivh MySQL-server-5.6.17-1.linux_glibc2.5.x86_64.rpm
Preparing...                ########################################### [100%]
   1:MySQL-server           ########################################### [100%]

......

......

4、确定已经安装好的mysql安装信息

[[email protected] hadoop]# rpm -qa|grep -i ‘mysql‘
MySQL-client-5.6.17-1.linux_glibc2.5.x86_64
MySQL-server-5.6.17-1.linux_glibc2.5.x86_64
MySQL-devel-5.6.17-1.linux_glibc2.5.x86_64

5、#设置启动服务service,执行以下拷贝命令

[[email protected] hadoop]# cp /usr/share/mysql/mysql.server /etc/init.d/mysqld

6、修改字符集参数

[[email protected] ~]# vi /usr/my.cnf

在源文件的结尾添加以下几行


#modify start 20161103
character-set-server=utf8

[client]
default-character-set=utf8
#modify end 20161103

7、重启mysql服务

[[email protected] ~]# service mysqld restart
Shutting down MySQL..                                [确定]
Starting MySQL..                                           [确定]

8、修改mysql 数据库的root用户密码

说明:首先执行下面的命令,查询mysql初始化设置的root用户随机密码

[[email protected] ~]# cat /root/.mysql_secret
# The random password set for the root user at Fri Jul  8 01:26:20 2016 (local time): OpJShw_zGRo6c0UK


#将上面查询到的随机密码作为第二个参数,前面加上“-p"

[[email protected] ~]#mysql -uroot –pOpJShw_zGRo6c0UK

9、进入mysql命令行后,设置新的密码

mysql> SET PASSWORD = PASSWORD(‘123456‘);
Query OK, 0 rows affected (0.07 sec)

10、从命令行退出mysql,用新设置的密码进入mysql

#退出MYSQL
mysql> quit
Bye

至此,mysql5.6.17安装大功告成。

本文出自 “沈进群” 博客,谢绝转载!

以上是关于大数据:从入门到XX的主要内容,如果未能解决你的问题,请参考以下文章

大数据:从入门到XX

大数据:从入门到XX

大数据:从入门到XX

大数据学习方向,从入门到精通

大数据从入门到项目实战,精品学习材料,值得大家一看

2018大数据学习路线从入门到精通