数据及数据管理基本概念

Posted 2023-03-02 Rolei_zl

持续更新。。。。。。 

1. 数据
   - 数值，对客观事件记录并可以鉴别的符号
   - Data，通过观察、实验或计算得出的结果，对客观事物的逻辑归纳
   - 数据可以是数字、文字、图像、声音等
2. 结构化数据、非结构化数据
   - 结构化数据：行数据，由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范
   - 非结构化数据：结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据
3. 大数据、数据池、数据湖
   - 大数据：Big Data。数据规模大，无法通过主流工具、在合理时间内对数据提取、管理、处理、整理
     5V特征：大数据量（Volume）、数据类型多样（Variety）、数据生成速度快（Velocity）、数据真实性高（Veracity）、数据价值密度低（Value）
   - 数据池：数据前处理、存储结构
   - 数据湖：更大的数据池，集中存储原始数据的结构
4. 数据管理、数据库、数据库管理系统
   - 数据管理：利用计算技术对数据进行有效采集、存储、处理、应用
   - 数据库：DB（Database），长期存储于计算机内，按照数据结构进行组织、存储、管理数据的仓库，用于数据的管理和共享
   - 数据库管理系统：DBMS（Database Management System），数据采集、存储和检索工具，包括数据库、数据仓库、数据集市
5. 数据仓库、数据集市
   - 数据仓库：DW（Data Warehouse），面向主题（多主题）的数据集合，用于数据分析、决策支持
   - 数据集市：Data Mart，面向特定数据、单个主题的集合，简单的数据仓库，专注于单个主题或业务线
6. 数据清洗、ETL
   - 数据清洗：（Data cleaning），对数据进行重新审查和校验，发现并纠正数据中错误的过程
   - ETL：数据从数据源经过抽取（extract）、转换（transform）、加载（load）到数据仓库的过程
7. 主数据
   - MD（Master Data），系统间共享的数据
   - 变化慢、质量要求高
8. 数据整理、数据治理
   - 数据整理：对原始数据进行加工处理，使之系统化、条理化，便于理解和分析
   - 数据治理：DG（Data Governance），对数据资产管理行使权力和控制的活动集合，确认信息使用形式、方式、过程、流程，以提升数据价值
9. 数据建模、数据分析、数据挖掘
   - 数据建模：定义和分析数据的要求和其需要的相应支持的信息系统的过程，确认现实世界数据间关系，对数据进行抽象、组织、使用
   - 数据分析：用统计分析方法对无序数据进行汇总、理解、分类、消化，最大化开发数据功能、作用
   - 数扰挖掘：DM（Data mining），通过算法搜索、发现隐藏于数据中的信息、并将数据转换成有用的信息和知识的过程
10. OLTP、OLAP
    - OLTP，On-Line Transaction Processing，联机事务处理过程。对接收到的数据进行即时处理、并输出处理结果的过程
    - OLAP，On-Line Analytical Processing，联机事务分析过程。多维数据库和多维分析，多种角度对从原始数据中转化出来的多维特性信息进行存取、理解
11. 数据孤岛
    - 物理数据孤岛，企业信息化过程中，不同部门、不同业务，独立存储、独立维护的数据集合
    - 逻辑数据孤岛，同一数据对像，不同合用者以自我的角度对数据进行理解、定义，形成同一数据对像定义、使用、释义完全不同或不完全相同，标准不统一造成沟通、使用障碍
12. 商业智能、商业分析、决策支持系统
    - 商业智能，BI（Business Inteligence）。使用DW、OLAP、DM技术对时时数据进行分析、展现（报表、图表、仪表盘），体现数据商业价值
    - 商业分析，BA（Business Analysis）。基于数据的问题原因分析、数据趋势预测、行动及措施计划
    - 决策支持系统，DSS（Decision Support System）。基于计算机计术和数据，适应快速变化、复杂情况，支持业务或组织决策活动的信息系统

参考

• 数据管理术语表 | 数据术语及定义 | SAP Insights
• 结构化数据和非结构化数据的区别 • Worktile社区 
• 什么是数据集市？| Oracle 中国
• 百度百科
• MBA智库百科