没有CTO的Netflix有哪些值得咱们学习的工程文化?

做者介绍：

杨波，拍拍贷基础框架研发总监。具备超过 10 年的互联网分布式系统研发和架构经验，曾前后就任于：eBay 中国研发中心（eBay CDC），任资深研发工程师，参与亿贝开放 API 平台研发，携程旅游网（Ctrip），任技术研发总监，主导携程大规模 SOA 体系建设，惟品会（VIPShop），任资深云平台架构师，负责容器 PaaS 平台的调研和架构

 

前言

近日和下属一块儿吃晚饭，期间聊到Netflix技术那些大胆的创新，过后以为有必要总结一下，给团队分享，让你们了解世界较高级的技术组织在技术、架构、组织和文化方面的创新。让你们在埋头干活的时候，偶尔也能够抬头看看天（大处着眼，小处着手）。因而就有了这篇文章。

 

注意，Netflix技术自己也在快速的迭代进化中，本文主要基于Netflix在slideshare上的分享总结而成，其中的不少内容目前可能已通过时，可是Netflix的创新文化和精神仍然值得咱们学习借鉴。

 

1、大规模生产级微服务架构实践

微服务不少公司(eBay, Amazon, BAT)都有，甚至比Netflix作得更早，但Netflix大概是大规模生产级微服务作得最杰出的。

100s范围的微服务，1000s范围的每日生产变动，10,000s范围的实例，1,000,000s范围的活跃客户数，1,000,000,000s范围的度量。可是只有10s范围的运维工程师，没有本身的数据中心NOC，应该算微服务DevOps的较高境界了。

 

 

 

Netflix微服务可视化。

 

2、开源整个微服务技术栈

Netflix微服务技术栈的核心组件基本上都是开源的。Pivotal在2~3年前把Netflix开源的这摊东西封装一下改头换面，再拼凑一些其它东西（配置中心，调用链监控等）就变成了Spring Cloud。如今你们耳熟能详的Zuul网关，Eureka服务发现注册中心，Hystrix熔断限流，Archaius配置等组件，Netflix在2012年左右就都开源出来了。

 

 

开放开源是Netflix的一种竞争战略。

 

 

Netflix为啥热衷于要搞开源？

 

将本身的解决方案创建为行业标准和较佳实践

创建Netflix技术品牌

雇佣、留住和吸引较高级工程师

从共享生态中得到反馈输入并受益

 

3、系统所有迁移AWS公有云

大体在09/10年左右， Netflix就开始启动上公有云战略（固然背后也是吃了自建数据中心的苦头），应用逐步向AWS迁移，这个过程一共持续了将近5年，到15年的时候，迁移完毕，所有应用上到AWS。09/10年左右的AWS还不太成熟，别说当时，即便如今也没有几个大公司不掂量一下敢提所有迁移公有云的战略。另外AWS能有今天，Netflix也是功不可没，帮Amazon躺了无数的坑。

 

 

4、在AWS基础上打造PaaS平台

Netflix在AWS IAAS的基础上封装打造了本身的PaaS云平台服务(大部分组件开源)，包括

 

平台运行时服务(Eureka，Zuul, Edda，Atlas)

 

平台库和框架(Karyon/Ribbon，Hystrix，Rx Java, Governator，Servo, Archaius, Astyanax)

 

平台大数据和缓存服务(Cassandra/ES/ Hadoop Platform as a Service, EVCache，S3)

 

平台工具和服务(Asgard/Aminator， SimianArmy/ChaosMonkey, ICE)

 

 

 

业内最近开始提出云原生(Cloud Native)架构的理念，Pivotal是这个理念的主要推进者（背后主要是要推它的Cloud Foundry产品）。其实Netflix在2013年就提出了Cloud Native理念，并且它的整个平台(AWS IAAS + PaaS)就是云原生的。

 

5、两地三中心高可用

Netflix的 高可用架构也是作得大气磅礴，同城部署3个对等的可用区(AWS Availability Zone)，1个甚至2个挂不影响可用性。

 

 

异地(Regions)再作对等部署，一个Region里头的AZ全挂，另一个Region接着可用。

 

 

6、采用Cassandra No SQL做为主数据库

Netflix原来用Oracle等传统Sql数据库，可是受到扩展性挑战。公司架构管理层大胆颠覆性提出使用Cassandra NoSQL做为主要的持久化化存储机制，Netflix在2012年就作到大部分数据存放Cassandra和S3等非关系数据库上。这个架构决策也是很是大胆有魄力，通常没有几个公司敢这么干的。Cassandra本质上是一种KV数据库，更像sorted map存储，不支持事务，不支持join。在CAP理论中，Cassandra是展示AP特性，无中心分散式高可用，自然支持跨数据中心数据同步，这大概是Netflix最看重的特性。Cassandra是读慢写快的特性（通常数据库是读快写慢）,Netflix大量使用Memcached作缓存补偿。

 

Cassandra在同城多个Zone之间同步数据，在异地(Inter-Region)之间再同步，流量到9Gbits/s，延迟83ms，18TB的数据备份(2013年的数据)。

 

7、镜像部署和发布自动刹车

近年docker容器技术大火，你们都在谈不可变基础设施(immutable infrastructure)的理念，本质就是镜像部署。Netflix在2012年前就已经实现镜像部署，发布的单位是AMI(Amazon Machine Image)镜像，经过持续交付工具Asgard（如今升级版叫Spinnaker）直接将镜像推到AWS云中部署，支持蓝绿（须要至少两倍虚机），灰度和金丝雀等部署模式。

 

Netflix的发布管道叫Paved Road，就是平台团队铺好的路，由提交，构建，AMI镜像烘焙(Image Baking)和发布四个阶段组成。

金丝雀发布以后，系统会自动生成金丝雀健康报告和分数（背后须要统计上千个metrics + 复杂智能 算法），达到必定的分数(好比80分)，才能继续roll out。这个也称发布自动刹车。

 

 

8、反脆弱架构

Netflix大胆提出反脆弱架构的理念（架构师受到尼古拉斯·塔勒布《反脆弱》一书的启发，并将其应用到架构领域）：为了让你的系统更加健壮，不是将它们严格保护起来，而是主动随机性地的增长一些破坏性测试，逼迫研发人员作好高可用。

 

 

Netflix从周一至周五，上午9点到下午3点，混乱猴子军团会随机杀生产实例，这个叫Chaos Monkey，还有增长延迟的Latency Monkey。

 

 

还有Chaos Gorilla能够杀整个可用区(Availability Zone)，Chaos Kong杀整个Region。听说Netflix曾主动关闭一个可用区，客户没有任何影响。

国内一些互联网公司也有演习和自攻一说，但基本都是提早打招呼的，规模通常也不大，Netflix是随机不打招呼玩真的。

 

9、几乎没有流程，没有员工手册

Netflix是一家高度重视人才密度，重自由和责任文化，轻流程的公司。公司没有正式的员工手册，只有一条简单的指导原则：

 

Act in Netflix’s best interest，以Netflix的较佳利益行事。

 

 

10、No CTO, No Ops

Netflix的技术这么牛逼，但它是没有技术CTO职位的，只有首席产品CPO，工程团队和产品团队的VP都向CPO汇报。这样作更可能是为了产品导向，便于技术和产品沟通合做，避免两边扯，避免业务驱动仍是技术驱动的悖论，你们都是产品驱动。Netflix把它称为BusDevOps组织架构。

 

 

Netflix也没有独立的运维团队(NoOps)，架构+中间件+运维+大数据闭环统称为云平台工程(Cloud and Platform Engineering)团队，一个VP总负责，更好地对接DevOps文化。Netflix的产品导向文化很是浓厚，连平台工程团队开源出来的产品都是整整齐齐的(见https://netflix.github.io/)，PaaS云平台是整个云平台工程团队较大的产品输出。

 

 

Netflix的CTO实际上是Chief Talent Officer，负责人才招聘的，公司对人才的重视可见一斑。

 

 

11、不管公司兴衰，始终支付市场较高工资

不用多解释，这大概是Netflix最有霸气底气和牛逼的一点。据我在米国的同窗讲，去Netflix基本是硅谷顶薪，博士毕业去给开了超过30万美金的年薪（这仍是前几年的行情）。通常进去难，去了留下来也不容易，不胜任的被客客气气劝退的有。能留下来的通常也不跳，由于再跳也没有更高的待遇了。

 

 

显然，没有较高级的人才密度，就没法支撑其高大上的技术架构和鹤立鸡群的文化。较高级的人才汇集在一块儿，容易碰撞迸发创新火花，捣腾出颠覆性的东西和理念。

 

写在最后

我在这边总结Netflix技术作的牛逼的事情，一方面是由于钦佩，但这不是重点，毕竟目前国内基础环境和人才密度是支撑不起这种类型文化的公司；可是，他山之石，能够攻玉，Netflix的不少技术、架构、组织和文化思路值得咱们学习和借鉴。

 

我本人没有在Netflix工做过，上面的信息主要经过互联网共享资料(特别是slideshare)学习解读(有些解读可能仍是偏颇的)，所谓强者无秘密，Netflix的强大也体如今它无私分享精神，它在公司内部是信息公开透明分享的，对外部也同样，几乎全部Netflix微服务技术栈(也称NetflixOSS)你能够从github.com/netflix免费得到，其内部架构和技术相关资料基本上均可以经过slideshare或者Netflix techblog免费得到。在公开透明一块即便Google、Amazon和Apple这些互联网巨头都应该是自叹不如的。Netflix公司大概是地球上开出的一朵特别奇葩耀眼的花。

向Netflix致敬!