2018.06-2020.05(哈啰出行)

Posted 2020-12-07 hit-zb

2018.06-2020.05(哈啰出行)

标签（空格分隔）： 成长之路

---

Hadoop 体系变更史

HDFS:

基础性能优化
标准化统一机型
各个组件 gc 优化
配置中心统一化
用户使用标准模型
权限体系建设打通
成本优化
HDFS 组件源码优化

Yarn:

MapReduce 基础调优
队列划分
Yarn 架构调整
调度器 优化
ResourceManager,NodeManager 优化

Hive

metastore,HiveServer2 稳定性，性能优化
Hive 权限体系
Hive 存储成本优化，存储格式性能优化
Hive 数仓体系建设
Hive 元数据优化。

Presto

队列划分
集群拆分
Presto bug 修复（参数，源码）
Presto 权限体系与Hive 打通
Presto Worker 本地性能优化
Presto 稳定性建设

Ranger

Ranger admin 稳定性
Ranger Admin 性能优化
Ranger Plugin 策略构建优化
Ranger Plugin 惰性加载
Ranger 高可用

Spark

Spark SQL:
Spark thriftServer:
PySpark