Cognos做大数据分析也可以棒棒哒

Posted 2020-07-25

大数据开辟了业务分析的新时代，使得企业基于更大范围数据（包括传统数据仓库、社交媒体、个人文本数据等）分析以制定更明智的决策变为可能。Cognos BI对Hadoop、分析数据存储和实时流数据等大数据源提供更广泛的支持，帮助企业获取更完整的业务视图并依据洞察迅速采取行动。

Cognos从10.2.x版本开始提供了对各类大数据平台的支持

IBM 是业界唯一一家提供了从大数据底层平台到前端展现分析所涉及的全部技术和产品的厂商。在如火如荼的大数据分析领域中，IBM Cognos BI依然保持了领导者的风范。下面我们将就Cognos BI对各类大数据分析平台的支持情况进行详细介绍。

对Hadoop平台的支持

对啦，6月22日慧都学院邀请了IBM大数据专家讲解新一代商业智能的发展趋势以及案例，感兴趣的朋友赶紧去报名听一听哈，完全免费的，可以学到不少东西！

从Cognos 10.2.1版本开始已经增加了对以下Hadoop平台的支持。随着版本的演进，在目前的10.2.2版本已提供了对相关软件后续新版本的支持更新。（以下是Cognos 10.2.1版本支持情况）

• Cloudera

• Apache (Hive 0.8 and 0.9)

• Horton Works

• AWS Elastic MapReduce

• IBM BigInsights 2.1 via Big SQL (or Hive)

对新的分析型数据源的支持

除了Hadoop，我们也对更多分析型数据源提供了支持。当前所有主流数据源都能够被Cognos DQM（Cognos Dynamic Query Mode）很好的支持，以下是一些新近被支持的数据库：

• DB2 10.5 BLU (via DQM)

• Netezza 7.0 (via DQM)

• SAP HANA (via DQM)

• Teradata 14.1 (via DQM)

• Amazon Redshift (via ODBC)

在以上Cognos BI支持的大数据平台中可圈可点的是对主流Hadoop平台的支持。Cognos BI服务器通过 Hive JDBC 驱动程序连接到Hadoop，生成Hive QL 来查询Hadoop文件系统。来自 Hive Catalog 的元数据可以导入到 Cognos Framework Manager 中，这就使得商业智能建模工具能够将 Hadoop内容包发布到 CognosBI服务器。这些内容包可用来创建令人瞩目的 Cognos 报表和分析（包含 Active Report）、仪表板和工作空间，所有这些都利用了Hadoop的 Map/Reduce 功能。此外，Cognos BI针对IBM Hadoop平台BigInsights还提供了BigSQL接口，Cognos BI同IBM BigSQL的集成在性能上会比以前Hive解决方案有一定的提升。您可以直接从HBase/HDFS中做查询，而不需要再去建立一个关系查询层（Relational Query Layer）来达到同样目的。如果您认为Hadoop才是企业大数据平台架构的话，IBM Big SQL和BigInsights将是一个不错的选择。接下来我将详细介绍Cognos BI与IBM BigInsights的集成配置的相关细节。

Cognos BI配置连接BigInsights

Cognos BI配置连接BigInsights总体架构

准备工作，拷贝驱动jar包到Cognos服务器目录

Cognos BI通过JDBC数据访问接口连接BigInsights，在配置连接到BigInsights之前，需要先将数据源连接JDBC驱动jar包拷贝到Cognos服务器对应的目录。

Hive连接方式：

从BigSQL安装目录下Java文件夹拷贝hive-jdbc-0.8.0.jar到每个 Cognos 安装的\webapps\p2pd\WEB-INF\lib文件夹下。（此处以Hive 0.8版本为例）

BigSQL连接方式：

从BigSQL安装目录下Java文件夹拷贝bigsql-jdbc-driver.jar文件到每个 Cognos 安装的\webapps\p2pd\WEB-INF\lib文件夹下。

注意： BigInsights 要求 Hive和BigSQL JDBC 驱动程序的版本与它将要连接到的服务器本身自带的版本相同。

创建BigInsights数据源连接

在Cognos Administration中新建数据源连接，选择连接类型为：JDBC。

在连接类型子项中，选择待连接数据源的类型。

注：Hive选项为开放平台ApacheHive接口类型，IBM BigInsights Hive有专门的选项。

输入BigInsights相关连接信息。

连接信息采用//:/格式将 BigInsights 服务器 URI 输入到 JDBC URL 字段中，比如//localhost:7052/defaultdb。

输入登录数据库的用户名 ID 和密码

测试数据源的连通性，测试连接成功后将提示连接成功。

Cognos Framework Manager 连接 BigInsights建模

配置完数据源连接后就可以开始进行Cognos Framework Manager模型创建工作了，与连接关系型数据库建模最大的不同是，使用Big SQL/Hive连接BigInsights作为数据源无需在安装FM客户端本地安装任何客户端和驱动程序，直接可以读取Cognos服务器上的连接信息进行FM建模操作。

创建模型的操作和普通数据源没有区别，但在自定义查询或函数方面则需要参考BigInsights的标准进行自定义修改，接下来就开始你的大数据分析之旅吧。