Hadoop 大数据Hive仓库组件部署超详细

Posted 2022-03-30 hello snowman

1.数据仓库

1.1概念

构建面向分析的集成化数据环境

面向分析的存储数据

1.2主要特征

数据仓库是面向主题的集成的非易失的和时变的数据集合，用以支持管理决策

1.2.3 非易失性

开启三台虚拟机

上传压缩包到software

解压到src下

改名

修改环境变量

生效环境变量

查询卸载Maeidb文件包

上传mysql安装包

安装MySQL软件包

修改my文件

注意错误  可能是my.cnf文件错误

开启mysql服务

查看mysql开启状态

查看mysql初始密码

cat /var/log/mysqld.log | grep password

重新设定密码和配置,登录

mysql_secure_installation

新密码:Password123$

登录：mysql -uroot -pPassword123$

新建hive用户元与数据

create database hive_db;

#新建 hive_db 数据库作为 Hive 的元数据存储地址。

create user hive identified by 'Password123$';

#创建 Hive 访问用户，用户名为 hive，密码为 hive。

grant all privileges on *.* to hive@'%' identified by 'Password123$' with grant option ;

grant all privileges on *.* to 'root'@'%'identified by 'Password123$' with grant option;

#grant 权限 1,权限 2,...权限 n on 数据库名称.表名称 to 用户名@用户地址。赋予 hive 用户对所有数据库所有表的所有权限且任何地址都能建立连接“%”，并具有授予权。

flush privileges

#刷新 MySQL 的系统权限相关表

赋予 hive 用户对所有数据库所有表的所有权限且任何地址都能建立连接“%”，并具有授予权。

改用户权限

配置 hive-site.xml

因为没有所以要复制

去conf下复制出hive-site.xml

cp /usr/local/src/hive/conf/hive-default.xml.template /usr/local/src/hive/conf/hive-site.xml

Vim hive-site.xml

连接 MySQL 的 hive 操作用户

连接 MySQL 的 hive 操作用户密码

配置数据库连接驱动

远程资源下载的临时目录

hive.exec.local.scratchdir

hive.querylog.location

hive.server2.logging.operation.log.location

hiveserver2 WebUI 页面访问地址

hiveserver2 WebUI 页面访问端口

配置hive-env.xml

cp /usr/local/src/hive/conf/hive-env.sh.template /usr/local/src/hive/conf/hive-env.sh

vi /usr/local/src/hive/conf/hive-env.sh

开启三台虚拟机节点  首先开启zookeeper节点  zkServer.sh start

master

Slave1

Slave2

开启namenode节点在hdfs上创建warehouse，并更改权限，在本地创建tmp文件夹

hadoop fs -mkdir -p /user/hive/warehouse

hadoop fs -chmod g+w /user/hive/warehouse

mkdir /usr/local/src/hive/tmp

将 Hive 连接 MySQL 的驱动器文件上传至 Hive 的 lib 文件夹下

初始化数据库

schematool -initSchema -dbType mysql

当显示 schemaTool completed 时，初始化成功

查看 MySQL 下 hive_db 数据库，发现多出许多个新表(55 个)

启动hive

打开 MySQL 数据库，使用配置过的 hive_db 数据库，hive 创建的表统一都在 hive_d b 数据库的 TBLS 表中。当创建表存在，既基于 MySQL 存储元数据的 Hive 组件搭建完毕。