分布式技术一周技术动态 2015.12.06

分布式系统实践

1. 小米抢购限流峰值系统「大秒」架构解密

https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=402182304&idx=1&sn=1bd68d72e6676ff782e92b0df8b07d35&scene=1&srcid=12045k1zDgO7DLlMLwimBKjC&key=ac89cba618d2d9760e3683067d4bff29f8bb89fc3bf97b2e474e526125c134f4ac64f36ebde25dd6eea41fb060cc002f&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=zWmI5jvmzrBpeGth%2Flwe%2FJzKodOSqz2DWlR3Hu72WXSqXyHYg%2BjlXbiI8Xlb3LKM

要点: 本文介绍了小米抢购系统"大秒"的系统架构以及模块划分, 讲述了各个模块的难点和解决方案, 是一篇比较不错的案例分享文章.

2. 记录一下互联网日志实时收集和实时计算的简单方案

http://lxw1234.com/archives/2015/11/569.htm?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 使用kafka进行数据远程传输的一个案例, 供你们参考.

3. LinkedIn是如何优化Kafka的

http://mp.weixin.qq.com/s?__biz=MzAwNjMxNjQzNA==&mid=401589968&idx=1&sn=984d8d7dac44c03aac74732f2154ec10&scene=0&key=ff7411024a07f3eb2f3dfe8acb650ab40de105a759104e4e2b764773e71a5602bd68dea9c52c390d25b69fd108cc0c8a&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=vnN3nJ7Pf%2Bjda9TY%2BATrOHy7xBbwFHegumfG7WodK805wd3xhpa3ilBwV7%2FPhio2

要点: 本文介绍了linkedin在优化kafka上的一些思路, 可是没有详细的说明如何优化, 仅供参考吧.

4. TiDB alpha is released! 

http://www.pingcap.com/posts/alpha-release.html?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 还记得我以前给你们分享过的, 号称惟一支持标准SQL的分布式数据库TiDB吗? 如今他发布了alpha版本, 使用hbase做为底层的存储引擎, 开发了分布式事务层支持多行事务, 感兴趣的同窗能够试用, 仅限于测试环境.

5. 面向鲁棒性的系统设计

http://mp.weixin.qq.com/s?__biz=MzIzMzEyMjU3MQ==&mid=400757941&idx=1&sn=8cb52a9710842a21a42765879e8fa882&scene=0#wechat_redirect

要点: 常常发现线上的代码对各类异常考虑不够, 也就是系统鲁棒性很差. 这篇文章给出了不少缺少鲁棒性的例子, 而且给出了对应的解决方案, 看看有哪些错误是你犯过的?

 

服务化和资源管理技术

1. 当Unikernel赶上Docker，会发生什么？

http://dockone.io/article/857?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 【编者的话】本文主要是对在巴塞罗那举办的DockerCon大会上介绍的Unikernel的总结。Unikernel是一种新的容器化发展方向，使用Rump Kernels构建Rump Kernels微服务，能够像传统的容器同样管理使用，能充分利用到现有容器生态系统的优势。

2. 用浏览器管理 Docker

https://mp.weixin.qq.com/s?__biz=MjM5NjQ4MjYwMQ==&mid=400504357&idx=1&sn=97076ad27a74972289a15ac744171c80&scene=0&key=ff7411024a07f3ebace2e036b38c710f712a5262b7ace3cf782eca7836362a3c26284ff197a6bc8f0134c0f41aca2b5d&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=vnN3nJ7Pf%2Bjda9TY%2BATrOHy7xBbwFHegumfG7WodK805wd3xhpa3ilBwV7%2FPhio2

要点: 记不住docker那么多复杂的命令? 不要紧, 提供一个webUI如何, 本文介绍了一个基于docker的WebUI工具, 方便的经过WebUI操做docker.

3. 咱们与Docker编排的故事

https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=400621313&idx=1&sn=104f425b3bafc825f8b95365484204de&scene=0&key=ff7411024a07f3eb44520bc4163fe1abc2a9679874cc65cde061b955f8f30a6bf161d68541295f2ad28fa5aa0ff83156&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=IHqpcWeHcCSGGqaMp3fLPqQa5cyoIjO3TIgYCZtgLsBS8QwrI0GDXR7SggOMcyzX

要点: 常常阅读技术动态的同窗对容器编排的概念应该比较熟悉了, 本文归纳了肯定一个容器编排系统的技术选型须要考虑的问题.

4. Docker 监控- Prometheus VS Cloud Insight

http://news.oneapm.com/docker-prometheus-cloud-insight/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 又是docker监控的一篇文章. 这篇文章对docker上比较成熟的两套监控系统普罗米修斯和cloud insight进行了功能对比, 整体上看两者功能上差异不大.

服务调度和 Trace 技术

1.  缓存经常使用更新策略对比

http://carlosfu.iteye.com/blog/2245723?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 对缓存的常见更新策略进行了简单的对比, 内容比较浅显, 适合初学者.

2. 高性能IO模型浅析

http://www.cnblogs.com/fanzhidongyzby/p/4098546.html?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 这篇文章对网络编程中经常使用的术语, 好比reactor, proactor, IO多路复用, 异步IO, 进行了比较直观的解释, 让你们再遇到这些概念时再也不陌生. 

DevOps 技术

1. 设计全球级的分布式、任务关键型应用——从实际项目中得来的教训

http://www.infoq.com/cn/articles/design-global-level-distributed-mission-critical-apps-part01?utm_campaign=rightbar_v2&utm_source=infoq&utm_medium=articles_link&utm_content=link_text

要点: 这篇文章结合做者资深的经验, 分享了在大规模分布式服务设计, 部署和运维中的一些教训, 包括数据分片, 监控和测量, 自动化服务和配置的部署, 消防演习, 最小化表面积等建议.

2. 运维自动化与标准规范化：解析、设计及实现

http://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=400710527&idx=1&sn=e99bf2534c911ed915bf931c31935241&scene=0&key=ac89cba618d2d976d5effb59cd4dcc08248e98e774a0bc255161a0c2d7c8c416aaf969fd3841bc87a92b107c404343c7&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=JA6TS4FkeNsCq7ISGasxmgPTnSZdjLZk5Ndn2G82XBAbNzhuF%2F4UBfuP7jmsBPI%2F

要点: 全部的运维都但愿自动化, 那么就必须先对运维流程进行标准化, 好比noah中的N多流程, 其实都是为了标准化而生的. 本文介绍了实现一个自动化运维平台的过程, 包括数据库, 工单和WebUI.

 

工具集合

1. 《ZooKeeper官方指南》ZooKeeper 使用 ACL 进行访问控制

http://ifeve.com/zookeeper-access-control-using-acls/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 给zookeeper都加上权限吧, 重要性很少说了.

2. 浅谈操做系统对内存的管理

http://blog.jobbole.com/95499/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 本文简单介绍了操做系统对内存的管理。这些基础概念对于不少开发人员是颇有帮助的。文章图文并茂, 讲解的很生动.

3. 专访豌豆荚搜索技术负责人：应用内搜索——移动时代的搜索技术

http://www.infoq.com/cn/articles/wandoujia-search-in-app

要点: 一篇对豌豆荚站内搜索的访谈, 技术内容很少, 技术套路和我厂也比较相似, deep link+调起技术.

4. 和开发组长聊聊沟通

http://zhuanlan.zhihu.com/fangtalk/20372309?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 无论你是否是团队的技术负责人, 不少同窗都或多或少的承担着开发组长的职责, 看一下合格的开发组长应该怎么思考问题.

4. zookeeper 分布式锁的实现

http://www.open-open.com/lib/view/open1426730315851.html?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 这篇文章介绍了如何使用zookeeper实现分布式锁的功能, 逻辑不复杂, 基本上就是按照官方文档描述的标准流程设计的. 若是你们使用java语言, 那么这些其实都不用本身实现, 开源的aurora项目把基于zookeeper的经常使用功能都封装好了, 包括分布式队列, 选主, 分布式锁等等. 若是使用其余编程语言, 那只能本身实现一遍了, 这里不得再也不一次吐槽zookeeper的c api, 提供的接口太过于底层了, 用起来要作不少封装, 但愿也有c++版本的aurora项目出现啊.