数据系统初步设计

Posted 2021-03-23 dxf813

一个完整的设计过程，其实就是对于需求及场景不断理解的过程，所以设计前整理需求是第一步也是关键的一步。

 

一、自我理解到的实际场景及需求：

　　1，融合多个业务线的系统数据，或其他形式数据

　　2，内部使用的系统。特点：1，用户量并不庞大 2，业务偏专业性 3，稳定性有一定要求

　　3，多个部门之间共享数据需求：灵活的数据权限，关联分析，数据报表，展示需求

　　4，后续可能功能：数据挖掘，标准化产品输出

      5，可能存在的形态：web，小程序，app

 

二、针对以上4点需求分为三方面进行设计：

设计原则：架构都是依托于需求、实际场景及数据量改变而不断演变的，而一个好的架构就是只需要很小的改动成本来实现需求的变化及数据增长

（1）数据架构

　　1，数据来源：爬虫、机构内各系统数据库、文件文本等其他形式

　　2，数据融合：基于在对于各个系统数据了解的情况下的数据关联方法

　　3，数据同步策略：实时同步，T+N同步，增量同步，全量同步

　　4，可能存在的技术难点：1，不同数据库之间的稳定同步 2，ETL清洗及结构化数据 3，同步数据量庞大且要求实时性

　　简易架构图：

 

 

 

（2）系统架构

　　- 一个成熟的产品是模块化的，是根据需求来通过配置中心，将需要的模块及数据在应用端透出，从而拥有强大的灵活性适应各个需求

数据平台大体分为以下集合模块：

　　1，用户权限及管理模块(不同部门，不同角色，不同权限，不同的数据授权)

　　2，数据检索模块（简单搜索，条件搜索）

　　3，数据实时分析

　　4，数据管理（数据分类，数据定制化融合，数据同步规则）

　　5，数据导出（授权下的可选范围导出或全量导出excel）

　　6，数据报表（根据用户需求的方法进行分析数据并产生报告）

　　7，图表库（配置化根据需求配置所要展示样式）

　　系统架构图：

      

 

 

 

（3）技术架构

　　一个产品初期主要实现其重要的功能性，再后续的不断迭代中，提升系统的稳定性及额外功能，因此初期阶段架构比较简单而稳定性不高：

　　初期架构图如下：

      

 

 

 

　　后期架构图：