行业牛人和开源软件改变技术世界

Posted 2020-08-12 时间的朋友

 Google在很长一段时间里都是技术圈内的顶尖技术的代名词。外界也不清楚Google是怎么完成一些不可能完成的任务的。当年，大家光是想象Google怎么保存那些海量的索引，是怎么做到的都不知道。所以大家想象Google里面每个工程师都是百年一遇的大神吧。

 

直到后来，Jeff Dean的三篇论文Google File System，MapReduce和BigTable一发布，大家才注意到，原来Google有个Systems and Infrastructure Group，有个Jeff Dean大神。原来他们把处理海量数据的方法，写成了内部系统，Google的工程师，不需要是神，只要学会这套工具，就可以操纵海量的数据了。

 

但是，可惜的是，Jeff Dean和Google只开放了他们的思想，但是没开放内部工具出来。这时候，一个叫做Doug Cutting的大神站了出来。

 

Doug Cutting是Lucene的作者，他当年曾在多家公司做搜索，还曾经在Apple做过搜索，他觉得业界缺乏一个开源的好用的搜索引擎内核。他就写了Lucene，Lucene是现在广泛使用的Elastic Search的内核。可以说，现在你在全世界的很多网站内点搜索，都是Lucene在支撑。仅当年我们创业的时候，因为我们在用Lucene，所以，我们的客户跑在Lucene上的搜索量就有几千万。

 

Doug Cutting把Jeff Dean的思想实现了出来，做了一个开源软件叫做Hadoop。Hadoop兴起后，其实分析处理海量数据，就变成了一个人人都可以做的事情（买得起机器就可以），从而产生了一场大数据的革命。

 

我举这个例子什么意思？就是Google很牛逼，Google在04-5年就有能力非常高效的分析处理海量数据。在那个时间点，能做Google量级的事情的人没有几个，这是非常有技术含量的。但是Jeff Dean一公布具体思想，这个技术含量就骤减。但是，仍旧是很有技术含量的。等到Doug Cutting把Hadoop做出来，分析处理海量数据的门槛实际上就降低到了会编译和搭建这个Java开源项目就可以了。

 

当然，有一些领域内的东西，即使有了开源软件，由于你对领域知识的匮乏，你仍旧很难高效的开发。比如Lucene，非常好用，但是Lucene是一个底层引擎，如果你对倒排索引的各种细节不够清楚，你直接用Lucene开发出好用的搜索是很难得。所以，当时我做了一个Cypress系统，用XML／HTTP请求把Lucene完全封装起来，用户不用懂倒排索引的任何细节就可以用好搜索了。后来流行的Elastic Search，跟我的设计思路如出一辙，唯一的区别是，他用JSON来做数据传输的格式，我用XML。一般团队使用Lucene，可能需要几个月才能做一个可用的搜索，用Cypress或者Elastic Search，一天就够了。

 

在这些牛人和开源工具的作用下，很多原来无比高大上，也没有几个人可以做的领域，很快就变成了随便一个工程师都可以学会的东西。

实际上，中国的大多数技术公司，核心还是业务，而不是技术，技术的价值在于良好的保障业务。公司真正赚钱是靠业务。美国呢，大公司里面技术比重更高的公司要多一些。但是，也有大量的公司，核心业务并不是技术本身。

在这样公司里面实现业务逻辑的工程师是主流。他们虽然非常重要，但是他们做的事情，价值不是技术含量，而是能不能完美的满足业务需求。

作者：郝培强
链接：https://zhuanlan.zhihu.com/p/22646254

来自为知笔记(Wiz)