分布式技术追踪 2017年第三期

Posted 2020-08-27

分布式系统实践

1. 基于Spark GraphX实现微博二度关系推荐

http://dwz.cn/51OflC

摘要: 基于图的关系挖掘和计算是互联网算法中非常常见的一种计算模型. 比如经典的pagerank, 微博微信的好友推荐等等. 本文从架构和算法两个方面, 非常详细的介绍了微博基于GraphX实现的二度关系的计算过程.

2. 基于 Kafka 和 ElasticSearch，LinkedIn是如何构建实时日志分析系统的？

http://dwz.cn/52j43b

摘要: 及时有效的搜索日志可以说是服务治理工作中非常重要的一个环节. 这篇文章介绍了linkedin是如何使用ELK逐步构建起来完善的日志检索的, 特别宝贵的是, 文章介绍了很多使用ELK过程中的坑, 值得大家学习和借鉴. 另外去年年底在velocity大会上介绍, linkedin服务器数量是5w台, 这里提到使用了1000+服务器部署ELK, 可见linkedin投入之大以及问题的重要性.

 

服务化和虚拟化技术

1. 关于两种CI/CD策略以及Git分支模型的思考

http://dwz.cn/52jZgN

摘要: git伟大之初就在于简单的分支管理, 所以基于git的分支模型引出了几种常见的git-flow. 这篇文章对两种最为常见的git flow进行了对比, 各有利弊, 帮助大家选择适合自己团队的git flow.

2. 容器监控的工具和流程

http://dwz.cn/54vv4y

摘要: 随着容器的发展, 基于容器的日志采集工具也是百花齐放. 这篇文章分析了主流基于容器的日志收集系统, 其中cAdvisor和Prometheus是比较流行的.

 

高可用技术

1. GSLB Is Hard - Part I

http://dwz.cn/51NRqM

摘要: GSLB就是Global Server Load Balancing. GSLB是互联网公司必不可少的基础中间件, 但是要想实现功能完备的GSLB可不是容易的事情, 这篇文章来自Google SRE之手, 深入的阐述了GSLB的技术细节.

2. 全链路压测军演系统(ForceBot)

http://dwz.cn/53mdhK

摘要: 任何一个大规模分布式系统, 如果想准确的评估当前系统能够承载的最大容量, 只有压测这样一种有效的手段. 然而压测一方面不能影响正常的用户流量, 另一方面还需要模拟大量用户的行为, 技术复杂度就比较高了. 这篇文章介绍了京东全链路压测系统的架构, 给我们实现压测系统提供了参考.

 

运维和DevOps技术

1. 从 MONGODB “赎金事件” 看安全问题

http://dwz.cn/51NBuN

摘要: 周末被mongodb事件刷屏了, 耗子哥也第一时间做了实验进行验证, 果然轻松的登录了几台mongodb上了. 使用mongodb的同学们一定要注意设置口令, 并且不要把这样的后端服务暴露在公网上.

2. 基于时间序列数据的监控实践

http://dwz.cn/51O155

摘要: 监控数据呈现时间序列的特性, 所以出现了针对时间序列的数据库TSDB. 这篇文章借鉴了borgmon的设计思想, 基于prometheus和grafana实现了数人云的监控系统. prometheus和grafana都是我非常喜欢的开源软件, 可以说是构建监控系统的不二选择.

 

丰富多彩的计算机世界

1. 深度学习、信息论与统计学

http://dwz.cn/52Q82d

摘要: 当前人工智能的核心技术就是深度学习了, 那么到底什么是深度学习? 本文从信息论和统计学的角度, 高度的科普了支撑深度学习的理论基础, 让我们这些小白也可以了解深度学习的基本原理.

2. 架构师的必备素质和成长途径

http://dwz.cn/52WowV

摘要: 架构师可能是很多同学未来一段时间的职业目标, 但是成为优秀的架构师是很困难的. 这篇文章的作者拥有非常丰富的海外架构师经验, 给我们介绍了自己架构师的成长之路, 值得大家学习和思考.