从Meego到SQL取数工程师的十年

Posted 2023-04-05 s597471018

十年后争取成为骨灰级意念取数专家

听过Meego的同学，相信大部分已经是迈入了35岁裁员焦虑的开发专家。

2010年当时我还在大学，学的是嵌入式专业（被老师们吹上天的专业），诺基亚还活着，当时对嵌入式开发特别感兴趣，还专门搞了个Arm嵌入式开发板，弄了一堆视频在学。

然后又考了个研究生，没考上，调剂去了软件学院，还是学的嵌入式方向。

研二阴差阳错，搞起了图像识别--基于SVM的人脸识别课题，算是研究了一段时间的算法。工作后搞起了算法工程，搞车辆识别落地，把算法灌入到摄像机里（也算是和嵌入式挂钩），去实时识别车辆信息。

再然后大数据起来了，弄了一段时间的hadoop集群。公司里用到的数据量越来越多，Oracle已经靠不住了，开始往云计算去切。但没有做大数据生态的相关开发，主要是面向业务做数据挖掘，提供业务分析结果，算是一个半吊子的分析师。

后面又进了大肠，搞了一段时间的风控，开始加入到取数工程师的行当。数据量按天已经是用T来算的了，跑个数据一不小心就上P了，一句SQL1000大洋呐。现在已经在这条路上越走越远了，但是终归还是个取数boy，洗数据，搞特征，搞样本，剩下的时间跑跑模型。

现在回头总结一下

1.做得挺多的，开发，数据，算法都能搞；但这其实也是劣势，都能搞意味着不够专；之前面试大肠也曾经被这个原因给毙掉了

2.人脉积累不多，仍然是程序猿的圈子，终归还是比较局限。

3.已35岁被裁掉作为deadline，还是得看看自己能给其它人带来什么价值。

4.现在做的东西都是依附于大肠的数据和资源，真在能够带走（大肠认识的牛人，期待哪天能带我飞一飞；大肠的做事思维；所谓的方法论）的不多。

5.手上没有不多称资源，真要自己出去做还是挺难的。

---谨以此文，记录下这十年的程序员生涯。

向Founder致敬 -- 我看AWS的十年发展之路

大家是否都有过这样的经历？以前读书的时候，老师给我们布置作业甚至是考试的时候经常要在最后强调一句：“请独立完成！”而当我们走出校园参加工作后，经常被要求“协作开展项目”并时常以“具有团队精神”为荣。这个早年中外教育的差异，就导致了外国工程师总能快速制作和共享软件工具，而我们中国工程师却一直在闭门造车。十年前，Amazon的工程师们本着统一internal tools的目标推出了亚马逊AWS（Amazon Web Services）。十年过去了，如今AWS在市场的接受度以及广泛使用的程度之高，早已使得其成为了云计算行业的Founder。

屈指算来，从2006年3月14日AmazonS3正式上线到今天，AWS作为云基础设施提供商不断开创着新的云服务相关概念和产品。它还将如“带头大哥”般引领着整个云计算行业阔步向前。回首AWS的产品线发展史，其实就是一个典型企业从无到有，从弱到强的成长编年史。比如说：

1. 新生的企业开通网络应用所必须的基础架构可以通过Amazon EC2及其ContainerService得到。如需配有自动响应消息的程序，则可以用到AWS Lambda。

2. 同时无论是内部使用还是网站应用都需要一定的存储空间进行存储和检索，这就需要Amazon S3，其特点是现付现用，无需签订合约的模式。

3. 任何应用都离不开数据库服务。Amazon RDS支持关系型数据库，AmazonDynamoDB支持NoSQL型，而AmazonRedshift的PB级数据仓库服务。总有一款适合企业。

4. 在日常运营过程中，少不了部署、监控和运维等问题，因此可以用到AWS Config, CodeDeploy和CloudWatch，以及用于日志服务的AWS CloudTrail。

5. 当企业慢慢成长壮大了，需要扩展并对负载进行均衡分配的时候，则可以用到Auto Scaling和Elastic Loading Balancing。

6. 而企业有了那么多的客户数据，就要考虑如何对数据进行分析以反哺服务给定制客户，这就可以用到了Amazon Kinesis。

7. 企业服务种类丰富了之后，安全问题就不容忽视，通过AWS IAM，管理者可以完全地掌控用户及其对资源的访问。

所以说，AWS走的这条云计算服务的道路是一个慢慢的拨云见日的过程的。它的每一步都踏在了企业级用户的需求点上。从最初的将存储备份到云端，到后来的服务落户至云服务，再发展到后面的管控迁移到云上，以及云安全的需求，这些都充分符合企业成长的“类马斯洛需求层次”。

我们不得不承认AWS缔造了云服务的概念和产业，并对整个市场起到了颠覆性的作用。在其产生之前，各个行业的信息系统建设成本，特别是在软件，硬件以及运维方面的支出都是奇高的。它的出现改变了无数行业获取计算资源的模式，当然也在某种程度上吞噬着老牌IT巨头的业务。

以我身边亲历的一个小微企业为例，本来是做图书在线购买的，以前他们需要购买软硬件产品，自建机房，等待数周IT平台搭建好后才能运营，并需要IT人员进行日常维护。为了寻找除了，他们曾尝试性的在创建过一个AWS免费帐户，花了数个星期体现下来，其功能完善能满足我们的日常运维需求，更可喜的是在碰到困难的时候，还可以及时联系AWS专家，得到更好的解决办法。可以说，自从有了AWS云服务之后，该企业只需专注于业务发展，而不需要过多考虑底层技术。通过数年的潜心积累，在成长过程中也遇到IT设施或空间的限制，他们通过AWS迅速享受到了“随付随用”的弹性扩展。正所谓：船小好掉头，现在他们不但将自己的本业务改变成了线上课程教育，还涉足到了在线游戏等方面。可见，AWS改变了整个IT搭建的模式，让更多的企业的落地与起步毫无压力。

业界常流行一句话：“一流公司做标准，二流公司做技术。”AWS真的是都做到了。10岁的它如今已经积累了不俗的人气和市场。站在10年的milestone上，它又将如何向前发展呢？我个人谈谈自己的拙见：

1.  合纵连横: 在Amazon的成功示范下，国内涌现出了阿里云、腾讯云、青云等云服务提供商。作为整个领域的先行者，AWS可以开放的心态加强与国内比较成功同行业伙伴形成战略联盟，加强经验、技术和市场的全方位合作。大家好，才是真的好。

2.  助力高新: 今年的阿尔法狗(AlphaGo)，VR（虚拟现实）等事件激发了国人对AI（人工智能）的投入兴趣。不少高新企业如雨后春笋般涌现，他们在新生阶段肯定需要云服务的助力。成本低廉,开放、灵活这都是AWS的优势，也是吸引这些企业的闪光点所在。

3.  携手政企: 时下，各个地方政企都在推动互联网+下的经济创新，数据，尤其是云上的数据，是非常重要的资源。如何善用并且用好那些大数据和其相关的数据发现与挖掘，是大有文章可做的。另外，我们都知道AWS发布了一个物联网平台，帮助数十亿台设备能够连接到AWS，这无疑对国内企业走向世界舞台提供了机会和挑战。

十年前，AWS以独有的方式改变了IT界甚至是许多其他行业的运作格局。我们一直以来都对这个开创时代的缔造者都充满了敬意。正如其老板贝索斯所说：“It‘s still dayone"。希望他们继往开来，再启征途，我们渴望在它的下一个十年里，看到更多绚丽多彩“七彩祥云”。