顶级技术组织为啥没有CTO?

聊聊Netflix技术那些大胆的创新

Posted by     "杨波" on Wednesday, May 23, 2018

TOC

前言

昨天晚上和同事一起吃晚饭,期间聊到Netflix技术那些大胆的创新,事后觉得有必要总结一下,给团队分享,让大家了解世界顶级的技术组织在技术、架构、组织和文化方面的创新。让大家在埋头干活的时候,偶尔也可以抬头看看天(大处着眼,小处着手)。于是就有了这篇文章。

注意,Netflix技术本身也在快速的迭代进化中,本文主要基于Netflix在slideshare上的分享总结而成,其中的很多内容目前可能已经过时,但是Netflix的创新文化和精神仍然值得我们学习借鉴。

一、大规模生产级微服务架构实践

微服务很多公司(eBay, Amazon, BAT)都有,甚至比Netflix做得更早,但Netflix大概是大规模生产级微服务做得最杰出的。

100s范围的微服务,1000s范围的每日生产变更,10,000s范围的实例,1,000,000s范围的活跃客户数,1,000,000,000s范围的度量。但是只有10s范围的运维工程师,没有自己的数据中心NOC,应该算微服务DevOps的最高境界了。

netflix ecosystem

no noc

msa visualization Netflix微服务可视化。

二、开源整个微服务技术栈

Netflix微服务技术栈的核心组件基本上都是开源的。Pivotal在2~3年前把Netflix开源的这摊东西封装一下改头换面,再拼凑一些其它东西(配置中心,调用链监控等)就变成了Spring Cloud。现在大家耳熟能详的Zuul网关,Eureka服务发现注册中心,Hystrix熔断限流,Archaius配置等组件,Netflix在2012年左右就都开源出来了。

oss strategy 开放开源是Netflix的一种竞争战略。

oss goal

Netflix为啥热衷于要搞开源? 1. 将自己的解决方案建立为行业标准和最佳实践 2. 建立Netflix技术品牌 3. 雇佣、留住和吸引顶级工程师 4. 从共享生态中获得反馈输入并受益

三、系统全部迁移AWS公有云

大致在09/10年左右, Netflix就开始启动上公有云战略(当然背后也是吃了自建数据中心的苦头),应用逐步向AWS迁移,这个过程一共持续了将近5年,到15年的时候,迁移完毕,全部应用上到AWS。09/10年左右的AWS还不太成熟,别说当时,即使现在也没有几个大公司不掂量一下敢提全部迁移公有云的战略。另外AWS能有今天,Netflix也是功不可没,帮Amazon躺了无数的坑。

migrate to aws

四、在AWS基础上打造PaaS平台

Netflix在AWS IAAS的基础上封装打造了自己的PaaS云平台服务(大部分组件开源),包括 1. 平台运行时服务(Eureka,Zuul, Edda,Atlas) 2. 平台库和框架(Karyon/Ribbon,Hystrix,RxJava, Governator,Servo, Archaius, Astyanax) 3. 平台大数据和缓存服务(Cassandra/ES/Hadoop Platform as a Service, EVCache,S3) 4. 平台工具和服务(Asgard/Aminator, SimianArmy/ChaosMonkey, ICE)

netflix cloud stack

deployment arch

业内最近开始提出云原生(Cloud Native)架构的理念,Pivotal是这个理念的主要推动者(背后主要是要推它的Cloud Foundry产品)。其实Netflix在2013年就提出了Cloud Native理念,而且它的整个平台(AWS IAAS + PaaS)就是云原生的。

五、两地三中心高可用

Netflix的高可用架构也是做得大气磅礴,同城部署3个对等的可用区(AWS Availability Zone),1个甚至2个挂不影响可用性。

zone

异地(Regions)再做对等部署,一个Region里头的AZ全挂,另外一个Region接着可用。

region

六、采用Cassandra NoSql作为主数据库

Netflix原来用Oracle等传统Sql数据库,但是受到扩展性挑战。公司架构管理层大胆颠覆性提出使用Cassandra Nosql作为主要的持久化化存储机制,Netflix在2012年就做到大部分数据存放Cassandra和S3等非关系数据库上。这个架构决策也是非常大胆有魄力,一般没有几个公司敢这么干的。Cassandra本质上是一种KV数据库,更像sorted map存储,不支持事务,不支持join。在CAP理论中,Cassandra是展现AP特性,无中心分散式高可用,天然支持跨数据中心数据同步,这大概是Netflix最看重的特性。Cassandra是读慢写快的特性(一般数据库是读快写慢),Netflix大量使用Memcached做缓存补偿。

cassandra

Cassandra在同城多个Zone之间同步数据,在异地(Inter-Region)之间再同步,流量到9Gbits/s,延迟83ms,18TB的数据备份(2013年的数据)。

七、镜像部署和发布自动刹车

近年docker容器技术大火,大家都在谈不可变基础设施(immutable infrastructure)的理念,本质就是镜像部署。Netflix在2012年前就已经实现镜像部署,发布的单位是AMI(Amazon Machine Image)镜像,通过持续交付工具Asgard(现在升级版叫Spinnaker)直接将镜像推到AWS云中部署,支持蓝绿(需要至少两倍虚机),灰度和金丝雀等部署模式。

paved road

Netflix的发布管道叫Paved Road,就是平台团队铺好的路,由提交,构建,AMI镜像烘焙(Image Baking)和发布四个阶段组成。

金丝雀发布之后,系统会自动生成金丝雀健康报告和分数(背后需要统计上千个metrics + 复杂智能算法),达到一定的分数(比如80分),才能继续roll out。这个也称发布自动刹车。

canary score

canary score 2

八、反脆弱架构

Netflix大胆提出反脆弱架构的理念(架构师受到尼古拉斯·塔勒布《反脆弱》一书的启发,并将其应用到架构领域):为了让你的系统更加健壮,不是将它们严格保护起来,而是主动随机性地的增加一些破坏性测试,逼迫研发人员做好高可用。

chaos monkey

Netflix从周一至周五,上午9点到下午3点,混乱猴子军团会随机杀生产实例,这个叫Chaos Monkey,还有增加延迟的Latency Monkey。

more monkey

还有Chaos Gorilla可以杀整个可用区(Availability Zone),Chaos Kong杀整个Region。据说Netflix曾主动关闭一个可用区,客户没有任何影响。

国内一些互联网公司也有演习和自攻一说,但基本都是提前打招呼的,规模一般也不大,Netflix是随机不打招呼玩真的。

九、几乎没有流程,没有员工手册

Netflix是一家高度重视人才密度,重自由和责任文化,轻流程的公司。公司没有正式的员工手册,只有一条简单的指导原则:

Act in Netflix’s best interest,以Netflix的最佳利益行事。

culture

十、No CTO, No Ops

Netflix的技术这么牛逼,但它是没有技术CTO职位的,只有首席产品CPO,工程团队和产品团队的VP都向CPO汇报。这样做更多是为了产品导向,便于技术和产品沟通合作,避免两边扯,避免业务驱动还是技术驱动的悖论,大家都是产品驱动。Netflix把它称为BusDevOps组织架构。

organization architecture

Netflix也没有独立的运维团队(NoOps),架构+中间件+运维+大数据闭环统称为云平台工程(Cloud and Platform Engineering)团队,一个VP总负责,更好地对接DevOps文化。Netflix的产品导向文化非常浓厚,连平台工程团队开源出来的产品都是整整齐齐的(见https://netflix.github.io/),PaaS云平台是整个云平台工程团队最大的产品输出。

technical organization

Netflix的CTO其实是Chief Talent Officer,负责人才招聘的,公司对人才的重视可见一斑。

cto

十一、无论公司兴衰,始终支付市场最高工资

不用多解释,这大概是Netflix最有霸气底气和牛逼的一点。据我在米国的同学讲,去Netflix基本是硅谷顶薪,博士毕业去给开了超过30万美金的年薪(这还是前几年的行情)。一般进去难,去了留下来也不容易,不胜任的被客客气气劝退的有。能留下来的一般也不跳,因为再跳也没有更高的待遇了。

top pay

显然,没有顶级的人才密度,就无法支撑其高大上的技术架构和鹤立鸡群的文化。顶级的人才聚集在一起,容易碰撞迸发创新火花,捣腾出颠覆性的东西和理念。

写在最后

我在这边总结Netflix技术做的牛逼的事情,一方面是因为钦佩,但这不是重点,毕竟目前国内基础环境和人才密度是支撑不起这种类型文化的公司;但是,他山之石,可以攻玉,Netflix的很多技术、架构、组织和文化思路值得我们学习和借鉴。

我本人没有在Netflix工作过,上面的信息主要通过互联网共享资料(特别是slideshare)学习解读(有些解读可能还是偏颇的),所谓强者无秘密,Netflix的强大也体现在它无私分享精神,它在公司内部是信息公开透明分享的,对外部也一样,几乎所有Netflix微服务技术栈(也称NetflixOSS)你可以从github.com/netflix免费获得,其内部架构和技术相关资料基本上都可以通过slideshare或者Netflix techblog免费获得。在公开透明一块即使Google、Amazon和Apple这些互联网巨头都应该是自叹不如的。Netflix公司大概是地球上开出的一朵特别奇葩耀眼的花。

向Netflix致敬!


comments powered by Disqus