大数据必知必会系列——面试官一问就懵：你们做过的项目技术是如何选型的？[新星计划]

Posted 2021-06-12 ChinaManor

文章目录

• • 引言
  • • （一）你们的项目框架版本是如何选型的？
    • （二）服务器选型
    • （三）集群规模
    • （四）人员配置参考
  • 总结

引言

大家好,我是ChinaManor,直译过来就是中国码农的意思,俺希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,一个平凡而不平庸的人。
学习大数据差不多一年了，笔者最近在整理大数据学习的笔记资料，这个系列是整理的一些大数据必知必会的知识。

面试官前面问技术使用背的 （划掉）回答行云流水，那接下来谈谈项目选型吧，顿时懵了

那我们就来好好说一下除了项目代码以外的东西。

（一）你们的项目框架版本是如何选型的？

1)Apache：运维麻烦，组件间兼容性需要自己调研。（一般大厂使用，技术实力雄厚，有专业 的运维人员）
2)CDH：国内使用最多的版本，但 CM 不开源，但其实对中、小公司使用来说没有影响（建议使

用）

HDP：开源，可以进行二次开发，但是没有 CDH 稳定，国内使用较少

（二）服务器选型

服务器使用物理机还是云主机？

1)机器成本考虑：

a.物理机：以 128G 内存，20 核物理 CPU，40 线程，8THDD 和 2TSSD 硬盘，单台报价 4W 出头，需考虑托管服务器费用。一般物理机寿命 5 年左右
b.云主机，以阿里云为例，差不多相同配置，每年 5W

2)运维成本考虑：

a.物理机：需要有专业的运维人员

b.云主机：很多运维工作都由阿里云已经完成，运维相对较轻松

（三）集群规模

（四）人员配置参考

小型公司（3 人左右）：组长 1 人，剩余组员无明确分工，并且可能兼顾 javaEE 和前端。中小型公司（3~6 人左右）：组长 1 人，离线 2 人左右，实时 1 人左右（离线一般多于实时），
JavaEE 1 人（有或者没有人单独负责 JavaEE，有时是有组员大数据和 JavaEE 一起做，或者大数据和前端一起做）。
中型公司（5~10 人左右）：组长 1 人，离线 3~5 人左右（离线处理、数仓），实时 2 人左右， JavaEE 1 人左右（负责对接 JavaEE 业务），前端 1 人左右（有或者没有人单独负责前端）。
中大型公司（5~20 人左右）：组长 1 人，离线 5~10 人（离线处理、数仓），实时 5 人左右， JavaEE2 人左右（负责对接 JavaEE 业务），前端 1 人（有或者没有人单独负责前端）。（发展比较良好的中大型公司可能大数据部门已经细化拆分，分成多个大数据组，分别负责不同业务）
上面只是参考配置，因为公司之间差异很大，例如 ofo 大数据部门只有 5 个人左右，因此根据所选公司规模确定一个合理范围，在面试前必须将这个人员配置考虑清楚，回答时要非常确定。

总结

以上便是项目选型上的一些参考回答，愿你读过之后有自己的收获,如果有收获不妨关注一下~我们下期再见👋