Pentaho：玩转大数据，躲开那些“坑”

Posted 2021-04-24 计算杂谈

从刀耕火种到蒸汽机、内燃机，再到电气化时代，人类历史上的工业革命经历了多个阶段。现如今人类已经进入了信息时代，信息革命的车轮仍在滚滚向前，基于数据的应用变得几乎无所不在、无所不能。

大数据分析、云计算、物联网、人工智能、3D打印、量子计算等等新兴技术，都为新时代下的数字化转型提供着持续的动力，也提出了全新的挑战。

Hitachi Vantara，成为数据专家

有了大量数据自然是有了让业务更进一步的基础，但当数据堆叠到海量的时候，如何处理则成为了新的难题。例如，多种数据源注入的情况下，性能能否提升？多个软件之间真正能实现彼此沟通吗？现阶段的像Spark、Flink等等这些开源运算性能如何提升？

用户需要一套完整的、端到端的高效分析平台软件来实现数据的管理和处理，Pentaho就是其中的佼佼者。

Pentaho是Hitachi Vantara的重要部分。我们之前非常熟悉的HDS和Hitachi Insight Group、Pentaho于2017年整合在一起才有了现在的Hitachi Vantara。

资料显示，Hitachi Vantara已连续八个季度在中国高端存储市场保持领先，在全球高端存储市场也名列前茅。对象存储HCP连续三期位列IDC 厂商评估的领导者象限，并且在2018年排名位列第一，对象存储在中国市场也连续多年实现了超过两位数的复合增长。

DataOps助力Pentaho构筑数据中台

今年7月，Hitachi Vantara的数据集成与分析平台软件Pentaho也推出了最新版本Pentaho 8.3，该版本引入了一系列能够支持DataOps的功能设计。DataOps是一种协同数据管理实践方案，可以充分挖掘客户数据价值。Pentaho 8.3还能够在确保客户数据的隐私、安全性和整体数据治理的前提下，帮助客户从边缘到多云环境中获得更高的数据敏捷性。

Hitachi Vantara中国区数据与分析业务总监于希国表示，整个Pentaho就是一个管道或者说是非常好的数据中台，也被认为是业内构筑数据中台的卓越产品解决方案。在市场还是概念主导的时候，Pentaho已经以产品形式出现了。

在Pentaho平台上，客户可以把现有的运营日志文件实时提取出来，然后根据运行情况进行大屏展示，以此及时发现和解决问题。这正是Hitachi Vantara所推崇的DataOps概念的体现，DataOps帮助数据的消费者和管理者建立起一个通畅、交叉的连接。

让专业与行业携手“共创”生态

落到实际应用层面，Pentaho平台拥有众多应用场景，包括：数据中台、数据交换、主机下移、数据仓库迁移、数据清洗、数据中心智能化、AIoT、数据可视化和自助式分析、非结构数据的转换与分析、数据脱敏等等，这些场景都有着相应的案例。

于希国认为，Hitachi Vantara要建立一个生态系统，因为在每个行业都有一些精准的要求和前瞻性，而这方面往往不是一家公司能独立做到的。“在今天的合作过程中，我们在谈Co-Creation（共创），这个共创包括Hitachi Vantara、合作伙伴还有客户。”他说。

Hitachi Vantara的团队和专家对于基础架构与服务都非常熟悉，但是具体到每个客户的时候，还是需要与行业专家以及合作伙伴进行深度合作，以提供合意的解决方案。Hitachi Vantara与平安、首都在线、海澜之家等客户都曾有过这样的通力合作。

自动化运维需要成熟的“老司机”带路

如今诸多的IT企业开始利用人工智能技术进行自动化运维，主要原因是数据中心的体量越来越大，传统的运维方式已经很难满足要求，出现故障也很难及时发现。

据于希国介绍，Hitachi Vantara的一家合作伙伴曾需要给客户开发一个自动化运维的工具。开发一套软件不难，难的是如何集成各种应用以及与其他软件互通。在这样的情况下Pentaho就展现出了它的特点与能力，它有着很强的集成与被集成能力，因此可以高效率地帮助客户完成自动化运维和部署。合作伙伴表示，上述项目的开发周期只用了三个月，如果没有Hitachi Vantara，估计周期会超过半年。

自动化运维对于一个企业来说并非是小事，出现故障或者“谎报军情”的话可能会引起严重的问题。只有当一个企业级产品解决方案足够成熟，开发与运维的团队才不至于在方案交付后深陷其中，不停地去解决各种问题。

无论企业体量大小，数据逐渐成为了第一生产力。企业纷纷把数据安全与处理当成头等大事，因为一旦数据出现问题所造成的影响也将是无法估量的。与更加专业的数据公司合作，将成为现代企业高效致胜的关键。

专业，创造价值！与你分享来自科技的乐趣。

【计算杂谈】创办人吴丛丛，笔名云中子，先后任职于走进中关村、赛迪网、51CTO、比特网，从业15年来重点专注服务器、存储、云计算、数据中心、网络、 虚拟化、安全、半导体、消费数码等相关领域。