DataSophon——国产开源大数据管理运维平台

Posted 2023-03-09

1、DataSophon是谁开源的？

国内某大厂

2、DataSophon想干嘛？

致力于快速实现部署、管理、监控以及自动化运维大数据服务组件和节点的能力，帮助您快速构建起稳定，高效的大数据集群服务。

3、DataSophon是什么？

DataSophon是致力于自动化监控、运维、管理大数据基础组件和节点的，帮助您快速构建起稳定，高效的大数据集群服务。

4、DataSophon都有哪些特性？

极易部署,1小时可完成300节点的大数据集群部署

国产化兼容,兼容arm服务器和常用国产化操作系统

监控指标全面丰富，基于生产实践展示用户最关心的监控指标

灵活便捷的告警服务，可实现用户自定义告警组和告警指标

可扩展性强，用户可通过配置的方式集成或升级大数据组件

5、DataSophon架构图

6、DataSophon架构简介

集群分为三大部分：管理节点、工作节点、监控

管理节点负责管理工作节点、工作节点上部署组件、负责任务执行

运维监控体系是独立的，通过prometheus+exporter采集组件状态参数，grafana负责运维可视化，通过alertmanager进行告警，这一套是现在主流的采集、存储、可视化、告警的，每一步都是单独的

管理员和运维人员通过管理节点实现节点上下线、扩容等

集群部署维护节点的元数据存储在mysql中，所以兼容jdbc协议，也可以用其他数据库替换mysql

7、DataSophon可以集成哪些组件？

8、搭建和环境依赖？

首先DataSophon是一套自动化运维搭建平台，集成服务是jar包形式，目前目录中列出的组件，提供好了对应的jar包，相当于jar包仓库，按照要求放在对应的目录中，搭建分布式服务时通过jar包分发的形式进行，然后调用os，进行解压，修改配置等操作。

基于上述，在服务集成上相对于cdn，hdp很方便。

9、rpc技术选型？

管理端与工作端通信选择akka框架。选型依据如下：

（1）Actor并发模型，支持协程，比线程小很多，高并发性能高。

（2）非常轻量的事件驱动处理机制（1GB内存可容纳约270万个Actor）。

（3）可以以jar包形式集成到现有框架，简洁易用，无其他依赖。

（4）具备容错机制，允许在Actor出错时进行一些恢复或者重置操作。

（5）消息传递支持exactly once。

（6）相对于netty，学习成本，使用成本更低。

10、当前版本能做的事？

支持多集群管理。

支持配置集群管理员，集群管理员具备集群操作管理权限，普通用户只有查看权限。

支持HDFS ，YARN，Hive , Kafka , ZooKeeper，Flink , Spark 等常用大数据组件。

支持集群总览监控。

支持各服务组件总览监控。

支持服务启动，停止，重启等操作。

支持服务角色启动，停止，重启，删除等操作。

支持Yarn公平调取器管理。

支持主机管理，支持实时监控主机Cpu使用率，内存使用率，磁盘使用率等常用指标。

支持告警管理，支持自定义告警指标。

支持服务配置文件修改。

支持配置文件修改后集群服务自动检测需要重启生效的依赖服务提示。

支持各大数据服务Web UIs便捷访问。

支持在线查看服务角色日志。