大数据平台组技术路线执行理念

Posted 2021-03-17 黄海的编程知识世界

大数据平台组技术路线执行理念

写在最前：自己是一个思维灵活人员，就是太灵活，视角很宽，看到了很多新东西就想要尝试并学习、引入，但深入不够，同时架构太大出问题机率直线升高，有明确的执行理念指导，是非常必要的，做任何决定前必须想到这个基本理念，切切。

0、精兵强将，稳扎稳打
解读：不可盲目扩张人员，人多了管理成本增加，水平参差不齐，代码质量无法掌控。慢一点没关系，做一步回头看两步，
稳步向前。

1、足够简单，完全可控
解读：尽量使用熟悉可控的软件，尽量少。出问题可以自主检查分析的。

2、稳定第一，运维优先
解读：没有成功先想着失败，一旦要保证备份，监控先行，集中精力打造思考运维平台，一出故障就会受到严重质疑。

3、深度研究，谨慎扩展
解读：对于使用的技术，一定要深研到底，不可浅尝辄止。对于引入新技术栈，要慎之再慎。

=======================================================
选型：
1、选择Java,放弃 Golang
理由：增加学习成本，重复造轮子，团队初创，需要研究的事情很多，不能分散精力。

2、选择mysql，放cockroachdb
理由：生产数据库，mysql可以应对，没有必要在这里进行替换，可以重用已有的经验和软件，比如长春市教育局的基础数据代码。

3、选择elasticsearch，暂缓greenplum
理由：目前我们只对elasticsearch有一些了解，还不精通，从理论上说elasticsearch也可以完成绝大多数olap职能，可以集中精力
进行深入研究，在发现elasticsearch无法满足的场景后，再调研其它备选方案。
关键词：深入研究，不行再说

4、spark或flink
理由：未来肯定会有流计算出现，目前的一期目标集中在elasticsearch，慢慢扩展。