Kylin的简介与安装部署

Posted 2021-01-29 frankdeng

一.Kylin的概述

官方网址：http://kylin.apache.org/cn/

      Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。

二.Kylin的安装

1.安装环境准备

1）软件要求

• Hadoop: 2.7+, 3.1+ (since v2.5)
• Hive: 0.13 - 1.2.1+
• HBase: 1.1+, 2.0 (since v2.5)
• Spark (可选) 2.1.1+
• Kafka (可选) 0.10.0+
• JDK: 1.8+ (since v2.5)
• OS: Linux only, CentOS 6.5+ or Ubuntu 16.0.4+

2）硬件要求

       运行 Kylin 的服务器的最低的配置为 4 core CPU, 16 GB memory 和 100 GB disk。 对于高负载的场景，建议使用 24 core CPU, 64 GB memory 或更高的配置。

3）Hadoop 环境

       Kylin 依赖于 Hadoop 集群处理大量的数据集。您需要准备一个配置好 HDFS, YARN, MapReduce, Hive, Hbase, Zookeeper 和其他服务的 Hadoop 集群供 Kylin 运行。最常见的是在 Hadoop client machine 上安装 Kylin，这样 Kylin 可以通过（hive, hbase, hadoop, 以及其他的）命令行与 Hadoop 进行通信。

       Kylin 可以在 Hadoop 集群的任意节点上启动。方便起见，您可以在 master 节点上运行 Kylin。但为了更好的稳定性，我们建议您将其部署在一个干净的 Hadoop client 节点上，该节点上 hive, hbase, hadoop, hdfs 命令行已安装好且 client 配置如（core-site.xml, hive-site.xml, hbase-site.xml, 及其他）也已经合理的配置且其可以自动和其它节点同步。运行 Kylin 的 Linux 账户要有访问 Hadoop 集群的权限，包括 create/write HDFS 文件夹, hive 表, hbase 表 和 提交 MR jobs 的权限。

2.Kylin单机安装

1）下载

这里下载最新的适用于 HBase 1.x 的 Kylin 2.5.0

[[email protected] software]$ wget http://mirrors.tuna.tsinghua.edu.cn/apache/kylin/apache-kylin-2.5.0/apache-kylin-2.5.0-bin-hbase1x.tar.gz

2）解压

解压 tar 包

[[email protected] software]$ tar zxvf apache-kylin-2.5.0-bin-hbase1x.tar.gz -C /opt/module/
[[email protected] software]$ cd /opt/module/
[[email protected] module]$ mv apache-kylin-2.5.0-bin-hbase1x   kylin-2.5.0-bin-hbase1x

然后配置环境变量 KYLIN_HOME 指向 Kylin 文件夹

[[email protected] kylin-2.5.0-bin-hbase1x]$ sudo vi /etc/profile
export KYLIN_HOME=/opt/module/kylin-2.5.0-bin-hbase1x
export PATH=$PATH:$KYLIN_HOME/bin
[[email protected] kylin-2.5.0-bin-hbase1x]$ . /etc/profile

检查安装环境,如果环境有任何的问题，它会将打印出详细的信息。如果没有 error，意味着环境没问题。

[[email protected] kylin-2.5.0-bin-hbase1x]$ ./bin/check-env.sh
Retrieving hadoop conf dir...
KYLIN_HOME is set to /opt/module/kylin-2.5.0-bin-hbase1x

3）启动Kylin

先启动集群各个服务，然后运行 $KYLIN_HOME/bin/kylin.sh start 脚本来启动 Kylin，服务器启动后，您可以通过查看 $KYLIN_HOME/logs/kylin.log 获得运行时日志。

[[email protected] kylin-2.5.0-bin-hbase1x]$ ./bin/kylin.sh  start
Retrieving hadoop conf dir...
KYLIN_HOME is set to /opt/module/kylin-2.5.0-bin-hbase1x
Retrieving hive dependency...
Retrieving hbase dependency...
Retrieving hadoop conf dir...
Retrieving kafka dependency...
Retrieving Spark dependency...
...
A new Kylin instance is started by root. To stop it, run ‘kylin.sh stop‘
Check the log at /opt/module/kylin-2.5.0-bin-hbase1x/logs/kylin.log
Web UI is at http://<hostname>:7070/kylin-bash-4.1#

4）WebUI查看

• Kylin 启动后您可以通过浏览器 http://hostname:7070/kylin 查看。初始用户名和密码是 ADMIN/KYLIN。
• 运行 $KYLIN_HOME/bin/kylin.sh stop 脚本，停止 Kylin。

3.Kylin集群安装