Ubuntu16.04下Kylin的安装与配置

Posted 2020-10-27 ColdCode

一、系统环境

kylin的安装配置并不像官方文档中描述的那样简单，复杂的原因在于hadoop，hive，hbase，kylin的版本一定要兼容，不然就会出现各种奇怪的错误。以下各软件版本可以成功运行kylin。

os : Ubuntu 16.04 LTS 64bit
jdk : 1.8.0_161
hadoop : 2.6.4
mysql : 5.7.21
hive : 2.1.0
hbase: 0.98.22-hadoop2
kylin: 1.5.4.1

以上版本软件在这里下载。

安装kylin之前，要先安装hadoop，hive，hbase ，hadoop和hbase要配置成伪分布式，hadoop要开启yarn和historyserver。

二、安装步骤

1、安装kylin

首先下载Kylin并安装到/usr/local目录下

~/下载$ sudo tar -xzf apache-kylin-1.5.4.1-bin.tar.gz -C /usr/local
~/下载$ cd /usr/local
/usr/local$ sudo mv apache-kylin-1.5.4.1-bin/ kylin
/usr/local$ sudo chown -R hadoop kylin/  #hadoop为我的用户名，更改为自己的用户名即可

编辑~/.bashrc，配置kylin的环境变量

export KYLIN_HOME=/usr/local/kylin
export PATH=$PATH:$KYLIN_HOME/bin

配置完成后  source /.bashrc  使环境变量生效。之前已经安装配置好了hadoop，hive，hbase，所以我的~/.bashrc如下所示：

 2、配置kylin

配置kylin使用hive的数据库名

cd /usr/local/kylin/conf
vim kylin.properties

将kylin.job.hive.database.for.intermediatetable修改为kylin_middle

然后在hive中创建数据库kylin_middle

$ hive
> create database kylin_middle;

 然后在hdfs上创建目录kylin，并复制给当前用户，我的当前用户为hadoop

hadoop fs -mkdir /kylin
hadoop fs -chown -R hadoop /kylin

接着执行Kylin的 check-env.sh ，这时可能会报错

这需要将脚本中的sh替换成bash，命令如下：

cd /usr/local/kylin/bin
sed -i \'s/`sh /`bash /g\' *.sh

然后再check-env.sh发现问题消失。如果没有问题，kylin就可以运行了，在运行前，要先把hadoop，hbase打开：

$ start-dfs.sh
$ start-yarn.sh
$ mr-jobhistory-daemon.sh start historyserver
$ start-base.sh
$ kylin.sh start

然后访问http://127.0.0.1:7070/kylin 就可以看到kylin的登录界面。

登录名/密码=ADMIN/KYLIN

3、kylin测试

官方有一个测试的例子可以帮助我们判断kylin是否已经正确安装了，输入以下命令

$ cd /usr/local/kylin
$ ./sample.sh
$ ./kylin.sh stop
$ ./kylin.sh start

进入kylin会发现出现了一个项目learn_kylin和一个名为kylin_sales_cube的cube，对这个cube执行build操作，可以在monitor中查看该cube build的进度,进度到100%才算build成功。

如果出现错误，可以从$KYLIN_HOME/logs/kylin.log查看日志。

在Insight里面输入以下sql语句测试：

select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers from kylin_sales group by part_dt order by part_dt

结果如下：

三、参考

1、https://sjq597.github.io/2016/07/19/Ubuntu-16-04-Hadoop%E6%9C%AC%E5%9C%B0%E5%AE%89%E8%A3%85%E9%85%8D%E7%BD%AE/