分布式技术一周技术动态 2016-09-18

Posted 2020-08-09

searcher 分布式纵向方向主要涵盖的范围包括分布式系统理论和设计实践, 资源管理和虚拟化技术, 大规模服务稳定性技术, DevOps和自动运维技术等方面, “分布式方向一周技术动态"是我每周总结和整理的关于分布式方向的精选技术文章, 希望以此让大家能够跟踪业界相关的技术动态, 培养大家对分布式系统的兴趣, 学习分布式系统理论和设计思路, 辅助大家的日常工作. 每周的技术动态会在hi群和邮件组里同步发布, 欢迎大家阅读. 对于后续 分布式技术动态 有任何意见或者建议, 大家可以随时联系我.

Hi群: 1478429

邮件组: [email protected]

往期列表: 分布式方向一周技术动态

分布式系统实践

1. 10亿级微博消息系统的架构演进

http://mp.weixin.qq.com/s?__biz=MzI4NzE1NTYyMg==&mid=2651101741&idx=1&sn=7fce36c155d0cb2f165098bf48be362c&chksm=f021cee4c75647f2e98b2da322cd98c12649afe202f9ade72f906007266b0733cf346f371072&scene=0#rd

要点: 微博消息系统就是微博上实时聊天的功能, 相比很多同学是用过. 这篇演讲是微博的技术专家袁武林同学在2016深圳archsummit大会上的演讲视频, 非常详细的介绍了微博消息系统的演化过程, 并且针对不同阶段所做的大量的优化工作.

2. Multi-Paxos与Leader

http://mp.weixin.qq.com/s?__biz=MzI4NDMyNTU2Mw==&mid=2247483798&idx=1&sn=42dd222ae255b13f1f67cd9e6d3f3dc0&scene=0#rd

要点: Paxos论文的难懂是出了名的, 近几年出现的QJM和raft等一致性协议让我们对于如何运用一致性协议实现强一致性过程有了更深刻的认识(简单点说就是一个binlog+状态机从而实现强一致), 但是对于Paxos协议我一直觉得自己是似懂非懂. 直到看到了微信团队分享的两篇对于Paxos的解读, 可以说是我见过的最通俗易懂的Paxos协议解释文章了, 并且开放了源码. 这篇文章介绍的Multi-Paxos是针对朴素Paxos的优化(文章中有对朴素Paxos文章的链接), 可以大幅降低朴素Paxos的延迟. 再多说一句, 经过理论和实践证明的一致性协议不多(Paxos, raft, zab等少数几个), 对于大规模使用的线上系统, 大家尽量不要自己发明一致性协议, 除非有严谨的理论证明或者不要求强一致性.

服务化和资源管理技术

1. 如何使用开源软件重建Google？

http://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=2651662192&idx=1&sn=50dcf5b71be4c6d4e6e0dc89f5aa6561&scene=1&srcid=0912bm2Sm37sZHKv4GAmJCLn#rd

要点: 一篇科普性的介绍, 介绍了google service编程中开源出来的软件.

2. 唯品会数据库备份恢复容器化项目实践经验总结

http://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=2649691631&idx=1&sn=bf5dd31a94312b0e9c1049a851f630ad&chksm=88932a8cbfe4a39afe58a6696bb8dba360c6f45880833e2de9eb8f804f87713d70c5f4b40343&scene=0#rd

要点: 使用容器保存持久化数据通常要考虑更多的因素, 这篇文章不仅仅介绍了唯品会的容器持久化方案, 还对网络和监控的技术选型提出了非常中肯的建议.

 服务高可用技术

1. 分布式系统的中枢Naming-Service

http://mp.weixin.qq.com/s?__biz=MzA3MDExNzcyNA==&mid=2650392289&idx=1&sn=1166749aa22a73c3520fd71814549e98&chksm=86ccd6d2b1bb5fc4c2e7cd3c112e78cdbd945cdc2786797fe1abb09c774108dea232e94ed712&scene=1&srcid=0911NdCXz3aBNtayUzxkk1I4#rd

要点: 名字服务的基本原理我相信大家都知道, 但是由于名字服务太关键了, 需要考虑很多高可用的问题, 包括本地备份, 反复注册, 健康检查, 灰度发布等. 这篇文章介绍了的名字服务为大家讲述了这些技术细节. 不过文章中没有提灰度发布的细节, 卖个关子, 大家可以来咨询beehive, 呵呵.

2. 聊聊高并发之隔离术

http://mp.weixin.qq.com/s?__biz=MzIwODA4NjMwNA==&mid=2652898010&idx=1&sn=beecea98342cd183084cc73dded7aa98&chksm=8cdcd695bbab5f8333fc5177c7111fcb81dbe8de7ad39eda519fb8db97b555b658cde9dfbb9a&scene=0#wechat_redirect

要点: 隔离是容灾技术中非常重要的一个环节, 包括线程隔离, 进程隔离, 机房隔离等等, 这篇文章总结了各种隔离技术的应用, 充分保证在系统不稳定的时候尽量提升系统可用性.

DevOps 技术

1. 怎样用Docker实现DevOps？谈通过容器进行持续部署

http://mp.weixin.qq.com/s?__biz=MzIzNjUxMzk2NQ==&mid=2247483747&idx=1&sn=e460290aed0df7e4161dc06467149919&scene=0#rd

要点: 这篇文章介绍了基于docker的持续集成和持续部署过程, 从镜像构建, 到镜像测试, 直到镜像上线的全过程.

2. DevOps的前世今生

http://mp.weixin.qq.com/s?__biz=MzIzNjUxMzk2NQ==&mid=2247483766&idx=1&sn=ef44335bcc3b46867500c0b2b8d6aaee&scene=0#rd

要点: DevOps和微服务一样的火爆, 那么DevOps到底是什么? 这篇文章从多个角度阐述了DevOps的世界观, 如果你还不了解DevOps, 那么这篇文章是非常好的入门读物. 

基础和文化

1. RPC-client异步收发核心细节？

http://mp.weixin.qq.com/s?__biz=MjM5ODYxMDA5OQ==&mid=2651959576&idx=1&sn=2be8d3f61effe7118abf920a175da710&scene=1&srcid=0913kUp7esyljmgqQf1hwiZp#rd

要点: 其实我是比较喜欢讲细节的文章的, 不过从作者反馈上看, 这类文章阅读量比较少. 

 2. 你可能不需要成为CTO

http://mp.weixin.qq.com/s?__biz=MjM5MDE0Mjc4MA==&mid=2650994144&idx=1&sn=4b036c254e2b8bc25c939481d88a9f48&chksm=bdbf0db38ac884a5242df5db6ffc254c624fb83946a81fa8d47ad03b032d4971e3b60f6028e8&scene=1&srcid=0917TTZMLl07yggyCrUsiJaX#rd

要点: 亲爱的工程师们，你在每次解决问题的时候，是否想清楚了问题的本质究竟是什么，这是谁的问题，谁能解决这个问题，你在为谁解决问题。