大数据技术栈
Posted 辉常努腻
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据技术栈相关的知识，希望对你有一定的参考价值。
ETL职位现状和未来发展
- 技术栈
- Hadoop相关基本原理和操作：hdfs，yarn，mr
- OLTP：mysql，oracle，pg， etc…
- OLAP：Kylin ， clickhouse，presto，impala ，TD，Greenplum
- 离线计算：hive ， Hbase ，spark
- 流计算： storm ， spark streaming ，flink ， Kafka streaming
- flume，sqoop等数据采集工具
- Kafka等MQ产品，ES相关，Redis，Mongo等noSQL DB
- ETL任务调度相关产品
- Shell/Python等脚本语言开发能力
- Java/Scala等编程能力
- alicloud，AWS等相关产品
- 数据结构和算法
- 数仓数据湖等数据平台等
- 一定的数据建模能力和数据分析能力
- 基础的数据组件运维能力
- 待补充…
以上是关于大数据技术栈的主要内容，如果未能解决你的问题，请参考以下文章