没有沙箱的 Apache Kylin 安装

Posted

技术标签:

【中文标题】没有沙箱的 Apache Kylin 安装【英文标题】:Apache Kylin installation without Sandbox 【发布时间】:2015-08-25 10:24:49 【问题描述】:

我想知道是否有任何关于没有任何沙箱(如 cloudera、hortonworks)支持的 Apache Kylin 安装的资源。我设法做到了以下几点:

    安装 Hadoop 2.6 安装 Hive 安装 HBase

然后我使用了来自 kylin 站点的二进制文件,并且到目前为止能够运行它。当我尝试构建一个多维数据集时,问题就开始了,map reduce 作业卡在第 2 步。我在想它是否仍然假设处于沙盒模式并且根本没有向 hadoop 提交作业(hadoop jobtracker 中没有条目)。

所以我需要解决这两个问题: 1. kylin在纯hadoop setup中的可能配置(无沙箱) 2. 以某种方式使 kylin 设置能够向 hadoop 提交作业。

【问题讨论】:

【参考方案1】:

Kylin 中没有这样的沙盒或非沙盒配置。只要确保运行 Kylin 的机器正确设置了 hadoop 就可以了。

在场景下,kylin.sh 使用hbase classpathhive -e set | grep 'env:CLASSPATH' 来检测hadoop 设置。如果您不确定 Kylin 连接到哪个集群,请仔细检查这些命令是否正常工作。

如果 Kylin 在提交 MR 作业时遇到问题,请检查两个地方。首先是hadoop资源管理器,看job是否真的提交了。有时它只是运行缓慢。第二次检查kylin.log,看看是否有异常。将日志发布到 kylin dev 邮件列表,有人可以提供帮助。

【讨论】:

【参考方案2】:

您可以安装 hadoop-2.6 , hive-0.14 ,hbase-0.98.8-hadoop2 和 Zookeeper 内置或外部 zookeeper-3.5 现在您可以在其上运行 kylin-v1.1-release 如果您仍然遇到问题,请在此处粘贴日志

【讨论】:

以上是关于没有沙箱的 Apache Kylin 安装的主要内容,如果未能解决你的问题,请参考以下文章

安装Apache Kylin时遇到的问题

apache kylin的单节点及多节点安装

kylin的安装与配置

关于apache kylin 安装32位linux办法

apache kylin2.10在原生hadoop集群上安装

Apache Kylin的入门安装