为什么那么多人说大数据只是写SQL?

Posted 大数据指北

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了为什么那么多人说大数据只是写SQL?相关的知识,希望对你有一定的参考价值。

大家好,我是脚丫先生 (o^^o)

之前发了一篇,「大数据工程师的日常工作内容是干嘛?」。

在微信公众号和CSDN博客收到了很多朋友的私信,问我大数据都只是在写SQL么?

是不是传说中的SqlBoy

我也依依回复了小伙伴们。偶然间在逛知乎的时候看到一个问题?

也想把之前自己说的不足,以知乎的几个我认为不错的回答分享给小伙伴们,解惑解惑。

回答者:herain

对大多数门外汉来说:认为大数据只是写SQL无可厚非。

大数据开发同学的自嘲是谦卑、门外汉的认知是偏见。做好自己就行,不要为不理解而过多的产生不理解,加油让自己更精彩。

多年从事数据开发,sql 只是众多工具(pig、spark、shell、python…)的一种。决定工作性质的不应该是 用什么工具?,而应该是用工具做什么?

大数据开发,是组织数据(数据仓库)、是分析信息(数据分析)、是知识挖掘(挖掘)。不是简单的写sql。

就拿数仓来说,我们需要了解数据建模的方法论(ER、多维等),去建设稳定的数仓体系支持业务找数、用数。同样,我们需要基于数据构建应用,比如 数据报表、查询工具等。当然,还有治理优化的工作,如何用最少的计算资源完成数据的输出。

所以,大数据中写SQL真的是对大数据从业者最大的误解。

重要的事情说三遍:我用SQL,但我不止是写SQL的男孩!

回答者:kingGe

这样说,可能工作中sql用得最多。

毕竟,大数据,先是要会查数据,sql是首选工具。工作中常常是先出结果,再讲效率优化。而大多数人忙于先出结果,很少考虑优化。

还有大多数情况下,有结果就可以了,数据量没那么大,硬件条件很充沛,短时间内也不需要考虑优化的事。

一般能处理增量计算,数据倾斜问题的人,在小组内也是技术能力突出的顶尖人才,小兵小虾不一定能搞定。虾兵虾将多了,声量自然高了,不要怪他们这样说,因为他们看到的就是这些。高级的问题,大概率还没遇到。

回答者:金东东

大数据就是写SQL,这句话其实反映了一个普遍的社会性问题。

任何工作,复杂的、艰难的、专业的那部分,都是很少的人在做。

就和世界上80%的财富由20%的掌握一样,大多数人只是参与到了这一项工作中,做着简单和重复的工作。

因为大多数人在工作中的收获和感悟有限,所以只能得出自己认知范围内的结论,可以参考坐井观天的理解。

好,这就是为什么你听到大多数人说大数据就是写SQL。但是,还有更深入的解释。

  • 1.你自己的工作内容和环境,也是属于简单且重复工作的范围。所以你身边和你能接触到的人的理解就是这样。如果你能通过自己的学习和努力,摆脱这种环境,你的同事都是更加专业的科技人士,他们则会说大数据重要的是数据模型和分析算法的精确与高效率,以及设备性能的充分利用,甚至是跨学科数据融合的社会研究。

  • 2.不可否认的是,计算机和软件领域的王者是美国,他们 做了大部分模型与架构的研发,算法与性能的调优。落实到中国的应用层面,不需要我们去 做这些顶层和高专业性的工作,留给我们的只有重复性工作。

综上所述,既然你已经有了这样的意识,还希望你能在大数据领域进行更多专业性的顶层工作。这样的人越多,中国的科技才会越发达。

总而言之

大数据不光光是写SQL,SQL只是达到目的的方式之一。

在大数据工作中,会面临很多种情况。

如以上几个回答,大数据工作的内容,根据自己的环境和工作侧重面来决定,

越是深入到大数据知识里,就越能感受到它的高度和难度。

从数据存储到数据计算再到数据平台建设,涉及到的大数据知识以及需要用到的语言工具太广了。

当然,Hive sql,spark sql,flink sql,presto sql写好 我觉得已经很nb了。

更多精彩内容请关注 微信公众号 👇「大数据指北」🔥:


一枚热衷于分享大数据基础原理,技术实战,架构设计与原型实现之外,还喜欢输出一些个人私活案例。


更多精彩福利干货,期待您的关注 ~

以上是关于为什么那么多人说大数据只是写SQL?的主要内容,如果未能解决你的问题,请参考以下文章

为什么那么多人说大数据只是写SQL?

“软件测试”吃青春饭?为什么仍有那么多人转行做“软件测试”呢?

为什么那么多人转行编程都首选Java

现在企业很多数据库软件使用的是oracle,我现在学习my sql 还有用吗?急需专业人士的回答!

问你几个问题

为啥有那么多人骂北大青鸟?真的很差吗?