今日指数项目之ETL数据业务开发(功能实现)
Posted Maynor学长
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了今日指数项目之ETL数据业务开发(功能实现)相关的知识，希望对你有一定的参考价值。
重点：ETL架构设计
逻辑架构
ETL整体架构设计
ETL指的是 Extraction, Transformation 与 Loading。
Extraction 指的是如何将数从来源端 (Source System) 中截取出来；
Transformation 指的是在截取出来的数据格式与数据仓储所需要的数据做转换；
Loading 指的是将数据加载至大数据平台中；
ETL服务器的作用有
（1）从源端抽取数据；
（2）加载数据到大数据集群；
（3）向集群下达数据处理的指令；
（4）ETL任务调度；
（5）数据预处理。 部分数据会在ETL服务器上先做预处理
平台整个体系架构分为以下几个层次：
1)源数据层：数据是整个大数据平台架构规划的基础，存储的批量数据包括存储网关委托日志、成交日志、行情数据和持仓数据等。
-
数据采集/接入：大数接平台通过FTP服务采集上游数据接口文件，利用大数据分布式数据库集群数据导入组件装载到大数据平台。
-
数据存储：
以上是关于今日指数项目之ETL数据业务开发(功能实现)的主要内容，如果未能解决你的问题，请参考以下文章