apache kylin的单节点及多节点安装

Posted 2020-11-03 菜鸟的进击

       Kylin的使用安装文档
Kylin简介
Kylin是什么
Apache Kylin是一个开源的分布式分析引擎，最初由eBay开发贡献至开源社区。它提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持大规模数据，能够处理TB乃至PB级别的分析任务，能够在亚秒级查询巨大的Hive表，并支持高并发。简单来说，Kylin的核心思想是预计算，即对多维分析可能用到的度量进行预计算，将计算好的结果保存成Cube，供查询时直接访问。把高复杂度的聚合运算、多表连接等操作转换成对预计算结果的查询，这决定了Kylin能够拥有很好的快速查询和高并发能力。
可扩展超快OLAP引擎:
Kylin是为减少在Hadoop上百亿规模数据查询延迟而设计
- Hadoop ANSI SQL 接口:
Kylin为Hadoop提供标准SQL支持大部分查询功能
- 交互式查询能力:
通过Kylin，用户可以与Hadoop数据进行亚秒级交互，在同样的数据集上提供比Hive更好的性能
- 多维立方体（MOLAP Cube）:
用户能够在Kylin里为百亿以上数据集定义数据模型并构建立方体
- 与BI工具无缝整合:
Kylin提供与BI工具，如Tableau，的整合能力，即将提供对其他工具的整合
- 其他特性:
- Job管理与监控
- 压缩与编码
- 增量更新
- 利用HBase Coprocessor
- 基于HyperLogLog的Dinstinc Count近似算法
- 友好的web界面以管理，监控和使用立方体
- 项目及立方体级别的访问控制安全
- 支持LDAP （网络）

kylin是一个用空间换取时间的分布式分析引擎，kylin核心是cube，以不同的维度，将某些查询预计算出来，存入hbase中，针对不同的业务场景会建立不同的cube来使用，满足绝大多数的查询需求。（个人）

Kylin的使用场景
Kylin适用于大量数据周期性查询，

Kylin的优缺点
缺点：多维索引要对多维度的各种组合作预计算，离线建索引需要较大计算量和时间，最终索引也会占用较多磁盘空间。
优点 ：Kylin的Cube预处理会大幅减小在线数据规模，对于超大规模数据更有优势。
Kylin 架构
 
Kylin的安装
单节点安装
Kylin的安装比较简单但是kylin是构建在大数据集群之上的所以要满足以下条件
?  Hadoop: 2.4+
?  Hive: 0.13+
?  HBase: 0.98+, 1.x
?  JDK: 1.7+
然后下载二进制包http://kylin.apache.org/download/
将二进制包上传至某个节点
切换至目录，解压文件
Tar  -xvzf  文件
配置文件路径
Vi /etc/profile
Export  Kylin_home=/path/
例如：
export KYLIN_HOME=/home/apache-kylin-2.2.0-bin
启动kylin
Cd到指定的解压目录下：执行 ./bin/kylin.sh start
停止服务：
执行 ./bin/kylin.sh  stop
注意： 执行时必须保证本用户下有权限建立habse表，

多节点安装
安装步骤与多节点安装相同，需修改配置文件
修改conf下的kylin.properties
因为只能有一个job节点，所以将
kylin.server.mode=all只能有一个节点是all，其他节点为query
kylin.server.cluster-servers=localhost:7070 在这一行添加地址例如
kylin.server.cluster-servers=192.168.3.251:7070,192.168.3.252:7070
安装负载均衡器ngnix
配置负载均衡：
nginx ("engine x") 是一个高性能的 HTTP 和 反向代理 服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。2011年6月1日，nginx 1.0.4发布。
1 依赖下载
wget https://ftp.pcre.org/pub/pcre/pcre-8.13.tar.gz
yum -y install make zlib zlib-devel gcc-c++ libtool openssl openssl-devel
openssl可能需要单独安装
安装pcre
1 tar -zxvf soft/pcre-8.38.tar.gz
2 cd pcre-8.38/
3 ./configure
4 make　
5 make install
检查是否安装成功：
切换至安装目录
Pcre version


2 Nginx下载
wget http://nginx.org/download/nginx-1.5.9.tar.gz
1 tar –xzvf 解压包
2 cd 解压包
3 ./configure
4. make
5 make install
检查是否安装成功
cd /var/local/nginx
 
表示安装成功
3 配置负载均衡：
 
启动
启动停止重启与测试
    1）启动
        #方法1
        # /usr/local/nginx/sbin/nginx -c     /usr/local/nginx/conf/nginx.conf
        #方法2
        # cd /usr/local/nginx/sbin
        # ./nginx

    2) 停止
        #查询nginx主进程号
        ps -ef | grep nginx
        #停止进程
        kill -QUIT 主进程号
        #快速停止
        kill -TERM 主进程号
        #强制停止
        pkill -9 nginx
    
    3) 重启(首次启动需：/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf)
        /usr/local/nginx/sbin/nginx -s reload
安装与配置详情请参考：http://www.linuxidc.com/Linux/2016-08/134110.htm
访问 80端口并加上kylin路径
 


Kylin的使用
登录密码账号为ADMIN/KYLIN
Kylin的使用请参考官网有详细说明。Cube的建立与业务场景紧密结合。需结合业务讲解