分布式技术一周技术动态 2016.03.20

Posted 2020-06-25

分布式系统实践

1. 基于Mesos和Docker的分布式计算平台

https://mp.weixin.qq.com/s?__biz=MzAxMDgzOTA2Mw==&mid=402769128&idx=1&sn=cea3ad1357bd9312acf1768c0a493bfd&scene=1&srcid=0318BTuxT0fsFYwPjpeyuDOa&key=710a5d99946419d90fbc1e7600cce055b6e997d6afafc74c64699f563f6b431ea5d3d64a850cd2aebe7b45e2fe443ef9&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=gJSCciAChF61P1S%2BOis30SyWrqbmghd3vwB7O8x75HVRHxBSRsbQpuTclOFak28f

要点: 本文介绍了一个完整的分布式运行平台的技术栈, 虽然只管理了100多台机器, 但是整个技术栈仍然值得学习和参考.

2. 10 Lessons from 10 Years of Amazon Web Services

http://www.allthingsdistributed.com/2016/03/10-lessons-from-10-years-of-aws.html

要点: Amazon Web Services已经经历了十年了, 这里总结了10个重要的lessons, 值得我们借鉴和思考.

3. Twitter 首席工程师：如何“打败”CAP 定理

https://mp.weixin.qq.com/s?__biz=MzA5ODM5MDU3MA==&mid=402571991&idx=2&sn=0f6ad7d986dbfe0a64c72007799151d3&scene=1&srcid=03153NO6QsjWIGRHBoFMl3M0&key=710a5d99946419d9223ad71310f41f6d1190e4d8f15026ccd2f6470e118bfc0bad6a2d21f9b2c25a905da6e0dba88788&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=SxkhuvljdkSKCAWG%2B87ra5GshlbLuDQYxJi4tyznpUpxwi27YDA3UIIWtbN1q7zD

要点: Twitter 首席工程师、Storm 的作者 Nathan Marz 在本文中通过将数据的CRUD模型改成CR模型, 并且在可以接受查询大幅度延迟的情况下, 给出了"打败"CAP定理的工程总结, 同时为了弥补查询延迟的问题, 引入了批量计算+实时计算想辅助的计算模式.

4. 可扩展Web架构与分布式系统

http://www.oschina.net/translate/scalable-web-architecture-and-distributed-systems?lang=chs&#

要点: 这是一篇长篇翻译文章, 以图片上传和分享服务架构为例, 从数据存储, 缓存, 索引, 代理等方面讲解了构建可扩展分布式Web架构的全过程.

服务化和资源管理技术

1. 集群调度框架的架构演进之路

http://dockone.io/article/1113?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 本文介绍了资源调度器的演化过程以及各个方案的优缺点.

2. 炒个冷饭LXC，试问Docker你凭啥这么火？

https://mp.weixin.qq.com/s?__biz=MzAwMDM2NzUxMg==&mid=2682845156&idx=1&sn=4b40feba12c09bb34ce272b475784878&scene=0&key=710a5d99946419d9b248ed8a80bf33aedbc9534fc4ab91f814532f0c72ed2de2a888d7c126ef3daf27a88dd578f4b3c4&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=StPuikuYrikQxKPA0WCUlDGh%2FmuZT3DfIqwTCXSYJJAA%2B6AHWDhWe6Fbt0kn8iEA

要点: docker太火了, 以至于我们甚至都认为docker就是容器, 容器就是docker. 事实上, docker只是容器的一种实现方式而已, lxc是比docker更早的一个容器工具, 这篇文章简要介绍了lxc的基本命令, 透过lxc让我们更容易把握到容器的本质 – cgroup和namespace技术.

3. 如果有10000台机器，你想怎么玩？

http://qinghua.github.io/kubernetes-in-mesos-1/

要点: 这篇文章从高可用, 持久化, 监控, 日志, 性能, 网络这些方面详细介绍了使用kubernetes和mesos进行集群和服务管理的全过程, 麻雀虽小, 五脏俱全.

4. 深入分析Docker镜像原理

http://www.csdn.net/article/2015-08-21/2825511#rd

要点: Dockerfile重塑新镜像，定义的不仅仅是镜像中的磁盘文件；Docker镜像是Dockerfile的产 物，自底之上打包软件及其环境，是软件的交付品；容器是镜像的运行态体现，一切信息来源于镜像。本文将深入分析Dockerfile、Docker镜 像和Docker容器三者之间的具体关系。

 

服务高可用技术

1. 从C10K到C10M高性能网络的探索与实践

http://blog.qiniu.com/archives/4941

要点: 这篇文章是根据12月20日在北京举办的“七牛架构师实践日”沙龙中，来自京东的资深架构师闫国旗做的题为“从C10K到C10M高性能网络的探索与实践”的演讲内容的文字实录。文章从硬件到linux内核到应用软件介绍了网络性能优化的方方面面.

2. 高性能服务端系列 -- 处理器篇

https://yq.aliyun.com/articles/8061?spm=5176.100238.yqhn2.23.8XDDP7#rd

要点: 这篇文章详细介绍了针对CPU进行高性能服务设计需要考虑的优化因素, 包括cpu cache, 内存屏障, false sharing和context switch.

 

DevOps 技术

1. 灰度发布系统的实现

http://mp.weixin.qq.com/s?__biz=MzAwMjgwMTEzNw==&mid=404295511&idx=1&sn=70334b1b1c5be597c8036987e56b30a2&3rd=MzA3MDU4NTYzMw==&scene=6#rd

要点: 简易的灰度发布系统的设计和实现思路.

2. Linux的IO调度

http://liwei.life/2016/03/14/linux_io_scheduler/

要点: 这篇文章非常详细的介绍了linux IO调度的原理, 也可以帮助我们理解cgroup限制IO带宽和IOPS的原理, 并且介绍了cfq, noop和deadline三种调度算法以及这三种调度算法适用的场景: cfq更通用, deadline适用于IO密集型场景, 而noop复杂度最低, 适用于SSD设备.

3. 与时俱进：iostat核心变化解读

https://mp.weixin.qq.com/s?__biz=MzI4NTA1MDEwNg==&mid=402833297&idx=1&sn=67734a59612f2377d20e651a9317bfb4&scene=0&key=710a5d99946419d986fc8c3424072d089ea0c6f8195713dc7a4777eebc05fe4a820ab593cd762f71a7f25d16b6ce5e8a&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=SxkhuvljdkSKCAWG%2B87ra5GshlbLuDQYxJi4tyznpUpxwi27YDA3UIIWtbN1q7zD

要点: SSD和普通机械磁盘具有本质的不同, 那么之前基于机械磁盘的一些数据和经验也要随之变化, 本文介绍了判断SSD磁盘压力的方法, 不能在看io的util%了.

 

大杂烩

1. 技术人的逆风成长路

https://mp.weixin.qq.com/s?__biz=MjM5ODQ2MDIyMA==&mid=402613431&idx=1&sn=d308ff033706d503faa622f111517f05&scene=0&key=710a5d99946419d91d462352e52d98514d9d0e3b8c72c7fef83daefa12586720f8a45b7fd67667bc7c57d92fcd8ca783&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=gJSCciAChF61P1S%2BOis30SyWrqbmghd3vwB7O8x75HVRHxBSRsbQpuTclOFak28f

要点: 这篇文章讲述了淘宝互动营销背后的技术, 让我们看看双十一晚会的技术保障工作是如何进行的.