大数据技术人常被问的问题

Posted 2022-12-07 -早起的码农

前几天转正答辩，我ppt讲完后，各部门大佬们来提问，有两个问题答得不是很好，后来有空了想想，其实要答也不难。

1，技术选型上为什么用A技术不用其他技术？

     个人观点：技术选型上用某技术主要考虑

1），该技术的学习成本比较低； 

2），该技术能不能高效满足需求并且稳定运行；

3），使用该技术需要花费的成本是否比其他低；

上面3点其实是技术选型最关心的问题

2，实时计算和离线计算对数怎么对的，如果有问题考虑哪些方面的问题？

个人观点：

1），实时部分系统是否存在问题,例如消费端能力是否能满足生产的消息，重启后实时偏移量是否记录正确，有无重复消费 

2），离线部分计算是否存在问题，例如离线日志收集是否齐全，检测代码是否加的齐全，异常处理如何处理

3），细分维度和时间来对比哪个维度或者时间段会存在差异。