云原生数据中台概念-15个问题和解释

Posted 优雅先生的大数据

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了云原生数据中台概念-15个问题和解释相关的知识,希望对你有一定的参考价值。

云原生数据库

云原生数据库是在公有云、私有云和混合云等新型动态环境中,基于存储与计算分离架构的、存储和计算可以独立弹性扩展的、松散耦合的数据库系统。


存算分离的优势

传统大数据架构,缺少计算资源时需要扩充服务器,会连带部署存储资源,造成资源浪费。存算分离的架构下,缺少计算资源就只扩容计算资源,缺少存储资源就只扩容存储资源。


云原生架构是什么

云原生架构是一种利用云计算优势来构建和运行应用程序的方法。它是一种技术和方法论的集合,包含4个要素:微服务、容器、Devops、持续集成和持续交付(CI/CD)。其核心思想是将应用分解成简单、独立、明确的任务处理模块,独立运行与容器中,通过Restful API将处理结果返回给外部;同时,应用开发的流程采用Devops的方法论和工具链来实现持续集成和持续交付,使代码的发布及相关容器镜像的创建都能够自动完成,不需要软件开发人员过多干预。


Kubernetes是什么 

Kubernetes是一个基于容器技术的分布式架构方案,在Docker的基础上,为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等完整功能,提高了大规模容器集群管理的便捷性。Kubernetes是一个完备的分布式系统支撑平台,具有完备的集群管理能力、透明的服务注册和发现机制、内建的智能负载均衡器、强大的故障发现和自我修复能力、服务滚动升级和在线扩容能力、可扩展的资源自动调度机制以及多粒度的资源配额管理能力。同时,Kubernetes提供完善的管理工具,涵盖包括开发、部署、测试、运维、监控在内的各个环节。以下是云原生数据服务的优势。

    1.弹性的容器服务、K8S集群服务

    2.云上的DevOps工具

    3.弹性高可用的云数据库、大数据服务

    4.云上内建的安全产品、安全服务

 

数据中台建设的目标 

    通过提供工具、流程和方法论,实现数据能力的全局抽象、共享和复用,赋能业务部门,提高实现数据价值的效率。


数据中台解决的问题

    1.全局数据的打通和治理,数据标准和数据资产的管理。

    2.数据应用开发的管理和标准化。

    3.大数据平台本身的数字化运营。

    4.工具的易用性、灵活性、多租户管理及协同性。

    5.核心组件(Hadoop、Spark、Kkafka、MPP)的性能及管理问题。

 

微服务,容器,Devops,CI/CD在中台里的作用

微服务最好的载体是容器,容器是一项轻量级的虚拟化技术,不仅产生和消亡的代价很低,而且具有提供资源隔离等便于发布和管理的特性。

微服务+容器加速了软件的开发、测试、生产和发布流程。但仅有这两项技术还不够,还要有Devops来实现自动发布和稳定高效的系统运维,以轻松部署微服务和容器应用。同时,需要一个CI/CD架构来持续集成和持续发布,把代码提交到代码仓库后,自动触发微服务构建、容器构建及打包过程,然后发布到半生产系统进行集成测试,最后进入生产系统进行部署。这就是一整套的技术和方法论,数据中台建设最好的开发基础就是云原生架构。而且,容器天然具有资源和数据的隔离性,可以很好的保证系统的安全性。

在云原生架构下做数据服务有天生的好处,就是以微服务和容器化的方式发布数据服务,能够实现非常快速的部署和迭代。另外,数据中台能够实现数据服务的弹性扩展。在容器编排如Kubernetes。从而充分满足系统的可扩展性。因此,数据中台的建设一定要基于云原生和容器。云平台为分析工作负载和一般工作负载提供了极大支持,并提供了云计算技术的所有好处:易于配置和部署、弹性扩展、资源隔离、高资源利用率、高弹性、自动恢复。

在实践中,一个很重要的思路是将方法论映射到我们所使用的工具中,然后通过这些工具来规范我们的管理方法,而不是通过说教或行政规定来确保这些方法论的执行。

 

数据中台的建设目的

数据中台的建设应该以提供一系列方便好用的工具和流程为目的,让工具引导人来完成工作,而不是靠人手动操作。例如,添加一个新的数据源,对现有数据源进行修改的时候,相应的工具应该能自动完成这个数据源相关的管理工作(元数据采集、监控、通知),而不是让使用人员手动添加很多相关的配置。

 

传统大数据部门和数据中台的运营异同

在数据中台的建设中,大数据部门处于核心位置,但是大数据部门的工作除了搭建大数据基础能力平台之外,更要侧重于全局的数据能力一管理和赋能。

传统大数据团队的主要任务如下:

1.安全和运维Hadoop、Hive、Spark、Kafka这些大数据基础组件。

2.提供etl工具的运维支持,有时候帮助业务部门写一些查询,进行一些查询的优化。

3.提供大数据平台集群用户的管理、权限的分配及数据的管理和备份等。

4.负责大数据系统的运维、扩容和升级,帮助业务部门解决系统问题。

而在数据中台的运营中,大数据部门除了上述工作之外,还需要:

1.建立数据标准并确保数据标准的执行;

2.提供自助的数据工具供各个业务部门使用;

3.开发并支持业务系统的数据处理框架、测试框架、数据分析框架,避免各个业务IT部门重复开发;

4.确保各个业务部门能在数据平台发布、共享它们的通用数据能力;

5.提供数据应用发布、运维、更新的全生命周期管理;

6.精细化运营整个大数据平台,确保每个数据应用的ROI都得到追踪。

这些工作对大数据团队的技能要求提高了,而且数据和业务的结合是全方位的,对数据平台的扩展性、稳定性、实时性、可用性有了更高的要求。

 

中台在技术层面提供的支持

    1.全局的数据标准和完善的数据模型。

    2.完善安全的多用户管理。

    3.方便灵活的工具链。

    4.高效稳定的数据应用发布及运行流程。

    5.完善的数据治理和数据应用资产管理。

    6.全面的审计和监控。

 

十一 大数据平台的生产问题

    1.硬盘故障(据统计,硬盘第一年的故障率为5.1%)

    2.服务器故障(据统计,服务器第四年的故障率为11%)

    3.使用的大量开源程序有很多Bug

    4.自行开发的数据应用程序可能也会有一些Bug

    5.外部数据源有延迟

    6.数据库有宕机时间

    7.网络有错误

    8.运维时的误操作

这些问题在规模稍微大一些的系统中都会经常发生。为了保证系统的正常运行,还需要做好以下这些:

    1.监控系统: 监控硬件、操作系统、资源使用情况、程序运行。
    2.系统探针: 系统需要的各种运行指标,以便可以被监控。
    3.警报系统:出现问题时,需要通知运维工程师。
    4.避免单点故障(SPOF):避免一个组件或者节点的失效造成整个系统的崩溃。
    5.备份:需要尽快备份重要数据,不要依赖Hadoop的3份数据副本,因为它们也可能被人为误操作删除。
    6.恢复:如果不希望每次发生故障时都手动处理所有错误,那么最好尽可能让这些错误自动修复。

十二数据中台的系统安全

除了身份验证,以下是企业在此时还需要处理的一些问题

1.数据审计:系统必须审计系统中的所有操作,例如谁访问了系统中的什么内容。

2.多租户:系统必须支持多个用户和组共享同一个集群,具有资源隔离和访问控制功能,能够安全的处理和分享他们的数据。

3.端到端安全:系统中的所有工具都必须实施正确的安全措施,例如所有Hadoop相关组件的Kerberos集成、所有网络流量的HTTPS/SSL。

4.单点登录:系统中的所有用户在所有工具中都应具有单一身份,这对于实施安全策略非常重要。

 

十三Pass平台的主要功能

搭建或使用云平台的一个主要目的是在企业内部提供Pass功能,由Pass平台来支撑应用从开发、发布到运维的过程(应用全生命周期)中需要的存储、负载均衡、容错等通用功能,而不是由各个数据应用自行管理。

 

十四应用全生命周期管理

应用发布模块负责为运行的应用提供标准化的分发流程,用户可以按照标准化的发布方式自助进行应用发布。应用发布模块功能包括:

1.所有应用可以一键安装,用户可以通过Docker Image方式自主安装和发布应用。

2.应用配置全部通过Webui方式实现。

3.应用实例由集群动态分配资源,无须绑定服务器。

4.应用负载均衡由系统自动实现,无须配置。

5.应用的运维由系统自动实现,包括自动弹性扩容、迁移和重启。

 

十五应用编排及调度管理实现的系统功能

云原生系统在应用管理方面提供应用编排及调度管理,可以管理由数十乃至数百个松散结合的容器化组件构成的应用,而这些组件遵照统一的发布规范,可以完成各组件相互间的协同合作,使既定的应用按照设计运作,按顺序在网络级别进行组织,能够按照计划进行。如:

1.快速部署:实现应用的创建、发布、部署、启动、停止等功能。

2.弹性伸缩:在预计应用流量达到高峰前,只需要在页面上调整应用的实例数,就可以在后台自动复制并启动多个实例。

3.策略约束:如果应用对机器有特殊要求,不能在集群中随时任意的迁移,平台也支持添加机器约束,比如只允许应用运行在某些机器上,或者不允许运行在部分机器上。

4.健康检查:应用在发布的时候,TCP/HTTP服务可以自动检测端口或者HTTPhttp服务时候可用。如果在指定时间内服务没有响应,调度平台可以自动启动新的实例,判断新的实例正常运行后,剔除非正常的实例。

 

 

 


以上是关于云原生数据中台概念-15个问题和解释的主要内容,如果未能解决你的问题,请参考以下文章

云原生数据中台 1 —— 来源建设与评价

云原生数据中台三大典型应用场景

云原生数据中台技术与趋势解读|直播预告

数据中台走向云原生

数据中台下半场:走向云原生

云原生数据中台最佳实践|直播预告