大数据商业智能的十大戒律

Posted 2020-09-14 春笋拔节

 

如今，各路企业和组织都不再使用上一代架构来存储大数据。既然如此，为什么还要使用上一代商业智能（BI）工具来进行大数据分析呢？在为企业选择 BI 工具时，应该遵守以下“十诫”。

第一诫：不要转移大数据

转移大数据代价高昂：毕竟，大数据很“大”，如果打包转移，负担太重。

不要将数据提取出来，做成数据集市和数据立方，因为“提取”就意味着转移，会在维护、网络性能附加处理器方面造成纷乱庞杂的问题，出现两个逻辑上相同的备份。

让 BI 深入更底层运行数据就是大数据萌发的最初动力。

第二诫：不要偷盗！或者说不要违反企业安全政策

安全并非可有可无。如今数据泄露事件频繁发生，这表明实现安全并非易事，因此要选择能够利用现有安全模型的 BI 工具。依靠 Ranger、Sentry、Knox 等综合性安全系统，大数据可以使实现数据安全变得更加容易，现在就连 Mongo 数据库都有了令人惊叹的安全架构。

所有那些模型都允许你插入权限、将用户信息一路传播到应用层、实施可视化的授权和提供与该授权相关的数据志。记住了，安全即服务。

第三诫：不要按照用户数和数据量付费

大数据的一个主要好处在于，如果做好了，它就能实现极高的性价比。把5 PB 数据存储到 Oracle 可能会让你倾家荡产，但存储到大数据系统则不会。尽管如此，在付钱购买之前，应该警惕某些价格陷阱。有些 BI 应用按照数据量或者索引数据量向用户收费。千万当心！

数据量和大数据使用量出现指数式增长是再平常不过的事情，我们的客户曾目睹其访问量在短短几个月时间里从数百亿次猛增到数千亿次，用户数扩大50倍。这是大数据系统的另一个好处：渐进式可扩展性。不要被低价所迷惑，去购买一种会对企业增长征收“高税”的 BI 工具。

第四诫：要大胆借鉴别人的可视图

分享静态图表？这些我们已经做过了，无论是 PDF 文档、PNG 图片还是电邮附件里，到处都在传播静态图表。但对于大数据和 BI，静态图表还远远不够：你拥有的一切无非都是些漂亮的图片罢了。你应该让任何人都能够随心所欲地与你的数据进行交互。应该把可视化看作是驾驭数据的交互式路线图。为什么要闭门造车呢？

将交互式可视化手段公之于众只是第一步。看看 Github 的模式就知道，与其说“这是我的最终发布产品”，不如说“这是一幅可视图，复制下来，分解它，我就是从中得到那些见解，看看它还能用于其他哪些领域”。这会让其他人从你的见解中学到有用的东西。

第五诫：要分析天然形态的数据

大数据是“非结构化”的，这样的说法我们已经听过太多太多。其实不然。财务和传感器会产生大量的键值对。JSON (可能是当下最流行的数据格式)可以是半结构化、多结构化等等，Mongo 数据库对这种数据格式下了重注。JSON 具有好处理和可规模化的优点，但如果把它转换成表格，表达力就会丢失。很多大数据仍然被制成表格，通常拥有数千栏。你不得不为所有的值寻找关系：“在那种情况下……从这里选择这个”。

扁平化会毁掉原始结构中所表达的重要关系。远离那些对你说“请把数据转换成表格，因为我们一直都这么干”的 BI 解决方案。

第六诫：不要无限期地等待结果

在2016年，我们预计数据处理速度将会变得快起来。一个典型方法是联机分析处理（OLAP）立方，本质上就是把数据转移到预计算缓存，从而加快处理速度。问题在于，你必须提取和转移数据(请看第一诫)，以便建造数据立方，然后才能加快速度。

现在，这种方法能够在一定的数据规模下良好运转，但如果临时表格过于庞大，你的笔记本电脑在试图将表格本地化的时候就会崩溃。当你提取新数据重建缓存时，新数据的分析就会中途停下来。此外还要注意样本问题，你可能会得到一个看起来不错、效果很好的可视图，但最后却发现全不对路，而问题就出在缺少大局观。要选择那些能便捷地不断调整数据的 BI 工具。

第七诫：不要制作报告，而要打造应用

在很长一段时间里，“获得数据”意味着获得报告。在大数据时代，BI 用户希望从多个来源获得异步数据，这样他们就不需要刷新任何东西，就好像浏览器和移动设备上运行的其他各种东西。用户希望和可视元素进行交互，得到他们正在寻找的答案，而不是对你已经提供给他们的结果进行交叉过滤。

Rails 等框架使打造 Web 应用变得更加简单。为什么不对 BI 应用做同样的事情呢？没理由不对这些应用、应用程序接口（API）、模板、可重用性等等采取类似的做法。现在是时候通过现代 Web 应用开发的透镜来看待 BI。随着科技的进步，企业应用已经很容易就能获得和创建了，比如用活字格企业Web应用生成器，这种非常简单的类似 Excel 的工具。

第八诫：要利用智能工具

在提供基于数据的可视图方面，BI 工具已经证明了自己的能力。现在则轮到在模型和缓存的自动维护上下功夫，这样一来，终端用户就不必操这个心了。在庞大的数据规模下，自动维护几乎是不可或缺的，我们可以从用户和数据与可视图的交互中获得大量信息，现代工具应该使用这些信息来对数据网络效应加以利用。

另外，要选择那些内置全面搜索能力的工具，因为我曾见过有些客户拥有成千上万的可视图。你需要一种迅速查找的方法，在网络的长年熏陶之下，我们已经习惯了搜索，而不是翻找菜单。

第九诫：要超越基本范畴

如今的大数据系统因为预测分析能力而著称。相关性、预测和其他功能使企业用户比以往任何时候都能更便捷地进行高级分析。不需要编程经验就能处理大数据的可视化技术让分析师如有神助，超越了基本分析的范畴。

为了实现其真正的潜力，大数据不应该依赖于每个人都变成预言程序员。人类非常善于处理可视化信息，我们必须更加努力地将可视化信息呈现在人们眼前。

第十诫：不要只是站在数据湖边，等着数据科学家来干活儿

不管你是把大数据当成数据湖还是企业数据中心，Hadoop 已经改变了数据的处理速度和存储成本，我们每天都在创造更多的数据。但在真正利用大数据为企业用户服务方面，常常存在一种“只写系统”现象——创造数据的人很多，但利用数据的人却很少。

其实，用 Hadoop 里的数据可以为企业用户解答非常多的问题。BI 讲究的是打造数据可视化应用，为日常决策提供支持。企业里的每个人都希望做出数据驱动的决策。把大数据能够解答的所有问题局限于需要数据科学家来处理的问题，这是奇耻大辱。

 

文章来源：互联网