大数据架构-东方国信

Posted 2020-09-20 天戈朱

mark：

---

• 新方向：原来我们讲的 Iaas/Paas/Saas 三层平台，未来运营商的大数据平台将向更深层次方向演进，如：Paas ( T-Paas、D-Paas)
• mark架构中的新技术：kudu、Ceph、OGG(Oralce GoldenGate)、RHadoop、TiDB
• mark自主研发XCloud框架：分布式执行计划引擎、分布式调度引擎、查询引擎、集群状态管理服务
• 借签东方国信的hadoop发行版: HBase读写优化 + 二级索引、BEH-Manager 集 cluster 管理监控、权限控制、开发工具包于一体
• 决策应用 ： SparkR/RHadoop计算
• 大数据资产管理：实现数据全生命周期端到端的透明经管控，实现“数据模型标准化、数据关系脉络化、数据加工可视化、数据质量度量化、数据服务自动化”，全业务流的实时监控
• 智能预警引擎设计思路： 基于Hadoop/Spark,重点关注向导式数据建模，支撑拖拉模式下的多种挖掘算法
• 常规多维分析：向下深钻
• 大数据核心技术在平台产品实践：以大数据核心技术为基础，面向开发和使用场景，进行二次封装，持续构建从采集消息、存储、计算、安全、开放等方面可视化的平台产品及应用工具
• 实时决策引擎：后台组件集成了storm、spark streaming、kafka、flume、hbase等现阶段比较流行并且版本趋于稳定的实时流计算技术组件，通过将数据采集、事件定义、数据处理、事件调度等流程的界面可视化配置管理，可方便的发布实时流场景应用程序，降低使用难度，提高程序开发效率 

     参考： http://www.bonc.com.cn/

运营商的大数据架构：

---

 

大数据核心技术体系

---

 

运营商的应用与实践

---

 

大数据核心技术在平台产品实践

---

• DC/OS：数据中心操作系统， 参见：http://www.open-open.com/news/view/d76828