分布式技术一周技术动态 2016-10-02

Posted 2020-08-12

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

Hi群: 1478429

邮件组: [email protected]

往期列表: 分布式方向一周技术动态

分布式系统实践

1. Kafka和DistributedLog技术对比

http://toutiao.com/a6335137580275417346/?tt_from=weixin&utm_campaign=client_share&app=news_article&utm_source=weixin&iid=5652720754&utm_medium=toutiao_ios&wxshare_count=1

要点: Kafka和DistributedLog都是流式的数据传输系统, 二者存在很多相似之初, 但是从实现原理上说却又有很大的不同, 这篇文章重点从实现原理上分析了二者的差异.

2. 分布式系统互斥性与幂等性问题的分析与解决

http://mp.weixin.qq.com/s?__biz=MjM5NjQ5MTI5OA==&mid=2651745427&idx=1&sn=6e9ac896433f0bb12bc89f46b41025b9&chksm=bd12b5de8a653cc85299bff58a99f0d7ba48dfcc0a9417e01f8b4a849b70c61e5a568da3f241&scene=0#rd

要点: 分布式系统的互斥性和幂等性是分布式系统中非常重要但是必须解决的问题, 这篇文章非常详细的介绍了常用的几种解决方案以及美团的实现方法, 不容错过.

服务化和虚拟化

1. 每秒订单数25倍提升，蘑菇街怎样跨过海量服务架构的技术藩篱？

http://mp.weixin.qq.com/s?__biz=MjM5MDE0Mjc4MA==&mid=2650994245&idx=1&sn=84b01bdd571d51586a87ba05120c3176&chksm=bdbf0e168ac88700b55abdd24c756152dd3f54a7433cd19b05d3ef083223affe9f5dfd1ae14c&mpshare=1&scene=1&srcid=09270tcKZmnZWanEe7WBZ19H#rd

要点: 这篇文章介绍了蘑菇街交易平台的服务化过程, 从一个400人同时开发的大应用, 逐步通过分库分表以及微服务拆分的方式, 实践了服务化过程, 从而使得订单的TPS提升了25倍. 这其中除了大家比较熟悉的分库分表, 限流, 降级等稳定性技术之外, 还包括SQL语句的优化和分析, 缓存的运用, 服务调用异步化和分布式数据一致性问题, 对于电商业务的服务化架构介绍的非常全面.

2. 基于OpenStack和Kubernetes构建组合云平台——网络集成方案综述

http://mp.weixin.qq.com/s?__biz=MjM5MjAwODM4MA==&mid=2650687354&idx=1&sn=1ff5dad8af80873318513306ef97ee34&chksm=bea636a989d1bfbf2f94a22027b50c7cebfd8b52638209a14b5ea665a2a03a3486188786c214&scene=0#rd

要点: OpenStack几乎是IAAS层一统天下的局面, 很多公司都是基于OpenStack搭建了自己的IAAS层. 随着容器技术的不断成熟, 越来越多的公司希望基于容器实现应用服务的部署, 同时也希望继续沿用底层IAAS层提供的虚拟机服务. 这就要求必须同时考虑虚拟机的网络和容器的网络方案. 这篇文章介绍了当前比较流行的组网方案, 并且给出了针对不同场景, 相应的组网方案的建议.

 高可用技术

1. 服务器硬盘故障预测实践

http://mp.weixin.qq.com/s?__biz=MzA3ODgyNzcwMw==&mid=2649021292&idx=1&sn=841d6b469374c201ddcaee578e5593c7&scene=2&srcid=0811DkSoO1e7KTj05EIMxlx2&from=timeline&isappinstalled=0#wechat_redirect

要点: 故障自动处理是实现服务高可用的必备手段, 而硬件故障如果等到发现的时候才处理这时候已经很被动了, 如果能提前发现, 那就可以实现无损的故障修复了. 而硬件故障发生最频繁, 处理最复杂的就是磁盘故障了, 这篇文章详细介绍了腾讯使用SMART数据结合SVM算法实现的磁盘故障预测模型, 值得我们参考.

2. “异地多活”设计辣么难？其实是你想多了！

http://mp.weixin.qq.com/s?__biz=MzIzOTU0NTQ0MA==&mid=2247483750&idx=1&sn=d41f5427738369f4a27f4b617184ea9f&mpshare=1&scene=1&srcid=0905CgJUDh0Ytx9shPpEK74e#rd

要点: 异地多活本质上是在理论上就是无法做到100%可用性的, 既然如此, 我们该如何设计异地多活呢? 这篇文章以实际例子说明了设计异地多活的核心原则以及常见的设计误区, 很有参考意义.

DevOps 技术

1. 从微软和小米的转型之痛，解读DevOps落地的核心要点

http://mp.weixin.qq.com/s?__biz=MzI4NTA1MDEwNg==&mid=2650756716&idx=1&sn=f239ff7e67dc34d81eafb1b7e7537c5b&chksm=f3f9e3f9c48e6aef509a428c633d98baa11063bd8b7d01a57f24870bdc7221f82797056ad28f&scene=0#rd

要点: 这篇文章介绍了微软的DevOps演变过程, 同时也介绍了业界领先互联网公司在DevOps方面的做法, 包括facebook, google等, 众多事实都证明, 只有combine the engineer才能使得产品迭代效果的最大化.

2. 一篇文了解DevOps：从概念、关键问题、兴起到实现需求

http://mp.weixin.qq.com/s?__biz=MjM5MDE0Mjc4MA==&mid=2650994236&idx=1&sn=d488ae3d66328eb4344eea421ca679be&chksm=bdbf0e6f8ac88779d4bc011a7d4c40f0501c19227128276385f4e739ebacc53440f2a1169f3f&scene=0#rd

要点: 目前在国外，互联网巨头如Google、Facebook、Amazon、LinkedIn、Netflix、Airbnb，传统软件公司如Adobe、IBM、Microsoft、SAP等，亦或是网络业务非核心企业如苹果、沃尔玛、索尼影视娱乐、星巴克等都在采用DevOps或提供相关支持产品。那么DevOps究竟是怎样一回事？

基础和文化

1. 你需要了解深度学习和神经网络这项技术吗？

http://zhangtielei.com/posts/blog-neural-nets.html?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 深度学习和神经网络目前可以说是人工智能技术的代表, 但是如果想了解这两项技术需要比较多的数学知识, 本文已非常通俗的方式介绍了这两项技术, 连我这种早已把数学知识还给老师的人都看懂了.

2. 代码命名：僧敲月下门

http://mp.weixin.qq.com/s?__biz=MzA3NDM0ODQwMw==&mid=2649827483&idx=1&sn=228be8c6c3448a56f7ecd00e20e3ae1d&chksm=8704aa87b0732391ceca19893103f58f7aa360c815faec08a334daddbff74a62b4db724125b7&scene=0#rd

要点: 我之前也分享过一些介绍如何优雅的给代码命名的文章, 不过都是告诉你哪些地方写名词, 哪些地方写动词, 如何避免冗长等等. 不过这篇文章写的非常深刻, 作者一针见血的指出, 如果代码命名很别扭, 说明程序存在结构性问题, 好的代码命名一定和好的程序结构相对应的. 回想我在good cooder的代码review中, 发现过很多bad case, 都属于这一类.