企业级大数据平台构建

Posted 2021-01-06 duaner92

一、平台基本功能

1. 数据接入

2. 数据存储和查询，存储模型应包括关系型模型，非关系型模型，文档模型等。

3. 数据计算，包括离线批处理，实时计算，机器学习，多维分析和全文检索。

4. 平台安全与管理，解决用户管理，数据隔离，访问授权，访问控制和集群服务安全等问题。

5. 平台辅助工具，如程序开发套件，任务管理，与调度系统，自助式数据探索分析系统。

二、集群服务器的角色分类

1. 主控节点

定义：不承担具体的数据存储和计算工作，而是负责全局统筹的任务分配，资源调配或是平衡集群负载，角色包括NameNode，HMaster，ResourceManager等。

2. 存储和计算节点

如Datenode,RegionServer和NodeManger等

3. 安全认证和管理节点

定义：负责集群的安保和管理工作。如kerberos协议的认证中心服务，cloudera manager，Ambari等。

4. 协同管理与其他节点

负责服务进程之间的交互和协同，例如心跳检查，配置同步，主控服务选举等，如zookeeper等。