大数据的下一站 DataOps，智领云发布纯 K8s 云原生数据平台 BDOS Online
Posted CSDN云计算
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据的下一站 DataOps，智领云发布纯 K8s 云原生数据平台 BDOS Online相关的知识，希望对你有一定的参考价值。
最近几年，业界对数据中台的追捧度像坐过山车从高点走低，但在数字化和业务创新驱动下，对数据管理与分析的热度在今年不降反升。
以往搭建一套 Hadoop 大数据平台，技术团队重点要搞定数据的采集、存储、处理和数仓的设计搭建等复杂动作，而更进一步对数据的应用、分析，到交付到内部和外部数据使用者，却缺少体系化的管理。针对这个问题，CSDN 在多次对 Gartner 的采访中，均看到了 Gartner 建议企业要增强数据应用的组装式，以及数据系统自动化的能力。
另外，在 Hadoop 之后，云原生中 Kubernetes 近两年快速发展，现在 K8s 对无状态应用的支持逐渐成熟，更多数据层的系统纷纷开始适配 K8s（例如 Spark 和 Kafka 都已经官方支持 K8s），容器化几乎成为数据在内的 IT 基础设施设计的必选项，新开发的数据组件也几乎都是基于云原生的。而在利用云原生对数据更高效、平台化、甚至一站式的管理应用中，DataOps 的作用正在逐步显现，成为数据应用技术发展中的新方向。
在这样的趋势下，最近智领云重磅发布了基于云原生的纯 K8s 大数据开发平台-- BDOS Online，借助 BDOS Online 开发者可以去除对 Hadoop 的依赖，以及众多数据组件的繁琐部署运维动作，直接在 K8s 运行现有 WorkLoad，统一资源管理，提升资源使用率，便于多租户计费管理，大幅降低运维成本。
据智领云 CEO 彭锋介绍，BDOS Online 是智领云自主研发的云原生 Data Platform as A Service (DPaSS)产品，其研发初衷是希望为需要高效快速实现多源异构数据应用开发、发布，运维的企业级用户，提供一个在线协同数据应用开发及运营平台。
BDOS Online 整体架构
从上面的架构图中我们能够直观的看出，BDOS Online 平台上集成了数据应用会用到的主流和热门的组件，如 Hive、Spark、TensorFlow、Kafka、MongoDB、HDFS。使用 BDOS Online 平台，数据开发团队可以实现数据采集、治理、分析，以及机器学习、BI 报表、数据服务、数据应用发布等数据应用必需能力组件，并以数据工程的方式实现工程管理、应用共享、质量管理、代码复用等 DataOps 核心功能。借助云原生的灵活和弹性，BDOS Online 可以实现即开即用，按需付费，以最低成本高效实现和共享数据价值，另外 BDOS Online 基于 Kubernetes 运行所有大数据及应用组件，同时支持公有云及私有云发布，并可无缝迁移。
据介绍，智领云针对 BDOS Online 上各组件之间的集成、改造和调优，投入了大量的研发精力，并且希望比以往的大数据平台更加灵活。不过彭锋也表示，除了 HDFS 之外，容器 CSI 接口的存储还在发展和探索阶段，对于数据的存储调度，也将是智领云将发力探索的方向。
智领云表示，BDOS Online 已经获得了零售、金融、物联网、医疗等对数据业务需求旺盛的行业客户。通过云原生的 BDOS Online，开发者能够实现直接开箱即用，无需安装任何大数据或云计算组件。数据开发团队也能够形成标准的数据应用私有发布流程，并与现有大数据平台和数仓对接，为数据科学家、数据工程师以及更多数据的使用者提供高效的数据开发平台。
现在，数据的重要性已经成为 IT 与行业共识。在数据基础设施的发展中，开发者们可以借助像智领云 BDOS Online 所具有的新特性与优势，更高效地完成应用开发，从容应对业务挑战。
开发者涨薪指南
48位大咖的思考法则、工作方式、逻辑体系
以上是关于大数据的下一站 DataOps，智领云发布纯 K8s 云原生数据平台 BDOS Online的主要内容，如果未能解决你的问题，请参考以下文章