分布式技术追踪 2017年第一期

Posted 2020-08-25

 

分布式系统实践

1. 大话分布式系统理论基础

http://dwz.cn/4UWN7i

摘要: 一致性是分布式系统的理论基础, 这篇文章从2PC, 3PC开始, 概述了支撑分布式系统一致性的各个理论, 便于大家再进行更深入和细致的学习.

2. 美团云混合存储系统

http://dwz.cn/4VpOzJ

摘要: (编者的话)美团云的李慧霸分享的混合存储系统议题非常独特，美团云的存储系统是自己开发的，没有使用开源系统，整个建设思路和方法值得借鉴，因此特别分享下李慧霸的PPT。

服务化和虚拟化技术

1. 京东容器集群建设之路

http://dwz.cn/4VTIRl

摘要: 京东应该是引入docker比较早的公司了, 借助于在OpenStack上的经验, 基于OpenStack开发了第一代容器云平台, 运行的容器多达15万. 本文介绍了京东容器云建设之路, 为大规模的容器应用提供了一个良好的案例.

2. 网易蜂巢基于万节点kubernetes支撑大规模云应用实践

http://dwz.cn/4VZOhy

摘要: 网易蜂巢容器云平台, IaaS层基于OpenStack支持计算, 存储, 网络的虚拟化, PaaS层使用k8s实现容器的编排, 同时提供缓存, 数据库等通用SaaS, 是一个典型的虚拟机+容器的实践.

高可用技术

1. 微信PaxosStore内存篇：十亿Paxos/分钟的挑战

http://dwz.cn/4WMcoE

摘要: 今年微信开源了很多东西, 特别是一些列围绕paxos的应用, 比如之前介绍过的PhxSQL等, 可见微信团队在Paxos上进行了不少的工程实践, 值得我们学习和借鉴.

2. Google是如何做负载均衡的？

http://dwz.cn/4Xj633

摘要: Google 使用的技术一般都自带光环，吸引程序员的注意，基础设施方面的东西就更是如此，年初 Google 发布了篇论文介绍内部的负载均衡器的实现，让我们有机会一睹可能是全球最好的负载均衡器。Maglev修改源IP为路由器IP, 让响应包绕过负载均衡器直接, 直接面向网卡编程, 绕过linux内核协议栈, 使用一致性hash硬生生的把有状态的服务改成了无状态.

运维和DevOps技术

1. Netflix Conductor：微服务编排器

http://dwz.cn/4UX6U5

摘要: 工作流引擎是管理例行运维的最有效工具, 一直想找一个好用的工作流引擎, 类似amazon SWF, 可惜SWF不开源. 很多开源的工作流引擎都在支持DAG上下功夫, 然而对于运维任务来说, 对于DAG没有强需求, 强需求是简单可编程的工作流管理. 下来可以仔细研究研究.

2. 万台分布式数据库的创新运营

http://dwz.cn/4VSVZD

摘要: 数据服务这种有状态的服务一直是运维的"灾区", 因为不能丢数据, 所以在运维处理上必须非常小心谨慎. 这篇文章介绍了腾讯万台规模的分布式KV存储系统的运维经验, 文章谈到的使用访问密度刻画服务负载能力, 存储备机的复用, 自动扩缩容和数据搬迁, 不同访问密度的服务混布, 故障自愈能力等方面都非常值得学习.

基础和文化

1. 一种NVMe SSD友好的数据存储系统设计

http://dwz.cn/4VqcUS

摘要: 传统存储系统的很多设计理念不再适用于闪存存储系统, 因此不管是我们自身还是业界都在寻找SSD友好的存储引擎, 这篇文章介绍的存储引擎将随机写转换成顺序写, 而随机读保持不变, 同时针对设计了针对SSD垃圾回收的垃圾回收策略, 从而实现了面向SSD友好的存储引擎设计.

2. Docker背后的内核知识——Namespace资源隔离

http://dwz.cn/4W0izO

摘要: namespace隔离是实现容器隔离的技术手段之一, 这篇文章科普了namespace隔离的机制, 包括了linux 六大namespace, 文章分为上下两部分. 链接中的是上篇, 下篇http://dwz.cn/4WLWEb

---

分布式技术动态周刊运转一年半以来受到了很多同学的好评, 不过一直发布在公司的内部wiki上. 为了让更多的朋友也能看到, 我申请了一个微信公众号, 每周同步发布, 希望能够帮助大家在众多技术类文章中挑选出分布式技术方向比较优秀的文章, 让不同层次的朋友都能有所收获.