专栏介绍前端
「对话 CTO」是极客公园的一档最新专栏,以技术人的视角聊聊研发管理者的发展和成长。小程序
本专栏由ONES 的创始人&CEO 王颖奇做为特邀访谈者。王颖奇曾参与金山软件 WPS、金山毒霸等大型软件的核心开发工做;2011 年创立了正点科技,旗下产品正点闹钟、正点日历在全球用户过亿;2014 年,王颖奇在知名美圆基金晨兴资本任 EIR,并以我的身份参与十余家公司的管理咨询工做;2015 年,王颖奇创立 ONES,致力于提供企业级研发管理解决方案。后端
摘要安全
在国内仍然处于初级阶段的大数据跑道上,创立三年的神策数据不断受到资本的青睐。最开始,神策数据想作的就是私有化部署。「咱们的定位不是作一款 SaaS 产品,而是为企业提供深度用户行为分析的平台。」接受采访的曹犟如是说。架构
清华大学计算机硕士毕业的曹犟最初供职于百度大数据部,后来担任极路由的数据总监,再与其余三位合伙人一块儿创立神策数据,担任神策数据 CTO 一职。起初客户须要 iOS SDK,曹犟就买书自学写 iOS;随着客户愈来愈多,曹犟就跟着销售团队一块儿见客户……从作数据到作管理,曹犟正在逐渐转换人生的角色。app
本期对话 CTO 请到了神策数据 CTO 曹犟,关于数据分析行业将来还有怎样的想象空间,曹犟聊了聊他的见解。运维
机器能解决的,就不麻烦人了机器学习
颖奇:很高兴神策的 CTO 曹犟同窗能接受咱们的访谈。首先能够讲一讲神策在数据分析领域,从技术上面有没有跟别的公司的一些差别?工具
曹犟:差别仍是挺大的吧,我以为主要是几个方面。第一点是技术细节,好比咱们选择的存储跟查询是不预聚合的,全部的数据来了都是一条条的存起来,而后作任何一个查询的时候,都是从最细粒度的数据来查。这样作的好处是查询的能力灵活,咱们的维度指标能够任意选择,很是多的分析模型,好比漏斗、精确的留存、归因分析,若是经过预聚合的方式都是很难解决的。第二个好处是时效性,好比收到一条数据,咱们基本能作到十秒以内它就能在查询接口上体现出来。但不作任何的预聚合的挑战是,对于查询、存储以及数据扫描能力有很是高的要求,这是咱们整个后端研发团队主要的攻关点。学习
第二点是咱们认为数据采集应该是从需求倒推,先看须要数据用在什么地方,再决定采哪些数据,结合客户的总体技术架构,决定用哪种数据采集方案。因此咱们有专门的数据采集团队。咱们发布了安卓全埋点采集白皮书,至关于贡献出了七种安卓全埋点采集方案的源代码。咱们全部的数据采集的 SDK 和工具都是开源的,但愿能促进整个行业的发展。
第三点是定位。咱们不是传统的 SaaS 公司,而是企业服务公司,有点相似 ONES。同时咱们绝大部分的客户都是作私有化部署的。
颖奇:其实 ONES 也是同样。大量的中小型公司仍是会用 SaaS 的轻量级部署;中大型以后的话,咱们的大客户都仍是选择私有化部署。
曹犟:那咱们这点仍是挺像的。不过咱们如今 80% 的客户是私有化部署,20% 是作 SaaS,咱们可能跟不少公司不同,咱们最开始没有 SaaS 版本。
最开始咱们就想作私有化部署,有几点考虑。第一点是帮助企业实现数据资产的积累。第二点是消除客户安全隐私的顾虑。早期咱们的客户以创业公司为主,客户对于安全隐私不是特别在乎。后来作到了金融行业,他们都有不少的合规的要求,而咱们从一开始就是作私有化部署的,因此如今在这一块作的比较顺利。
第三点仍是定位。咱们对本身定位不是一个 SaaS 产品,不只仅是一个数据分析产品,而是一个 PaaS 平台。咱们很是看重客户是否可以基于咱们的产品和系统去作对数据的深度应用,可以直接访问到原始数据,直接利用咱们的存储和计算资源。咱们搭了一个数据平台,客户能够写本身的 MapReduce、Spark。咱们关心客户的内部系统能不能跟咱们的作对接,因此将本身定位成 PaaS 平台。
之前咱们只有神策分析一个单一产品,今年咱们发布产品矩阵,就至关于把神策分析里面一些抽象的或者说一些公共的数据处理能力,从采集、传输、存储到查询给抽象到了底层,而后神策分析就变成了这个平台之上的一个应用。同时咱们还有神策智能推荐、神策客景、神策标签管理、神策自动化运营,它们是共用下面的平台提供的数据处理能力的。
颖奇:刚才您讲到咱们如今在服务几百个客户的私有化环境,那请问神策是怎么样来去监控或者说是维护、更新,来使得这些差很少大几百个实例都可以稳定运行呢?
曹犟:首先系统自己的鲁棒性和自己的可恢复性,或者说自己可以持续的运行的能力确定是要比较强。第二点是说,有点像之前 Google 的 Burg,或者说百度一些相似的系统。在客户容许的状况下,咱们会去监控这些系统的运行状态,不会拿客户的隐私,出了故障以后经过咱们跟客户协商的几种不一样的通道把这个故障给报出来。第三点是安装部署。可是对咱们来说,产品设计上早期就是只有私有化部署版本,对公有云上面的各个组件没依赖,再加上咱们在这一块又作了很是多的自动化的工具。这也表明了咱们一个理念,能用机器和程序解决的问题就尽可能不要让人来参与。
颖奇:那神策如今真正作产品技术的团队是否是一些作核心产品,还有一些多是面向客户的?
曹犟:咱们团队不是这样划分的,咱们没有定制开发,因此咱们的实施会比较轻,实施主要是负责整个环境的搭建部署、数据的接入、数据的校验、产品的交付,更侧重于怎么样帮助用户用好这一块。由于客户有时候会对咱们的技术特别好奇,研发会跟客户沟通,同时研发也会兜底解决一些技术问题,可是总体上研发是专一于咱们几个产品自己,因此咱们大概是分为产品、后端、前端等几个团队。
颖奇:那您以为神策在团队风格上有什么特色呢?
曹犟:从整个团队来说,咱们在技术上是很开放的。对于销售的要求也都是能讲技术实现,能演示产品。同时,跟销售配合打单的不是产品,咱们是有技术售前跟业务售前。业务售前更多的是更详细的来给客户传达咱们的产品价值,具体在哪些方面能获得怎么样的一个价值,能发挥它的做用,怎样提高效率,怎样节省成本等等。
技术售前都是技术上很是全面的人,咱们的技术售前的职责包括 POC,他们是要直接干活,他们直接要去登机器,去安装去部署,有问题去查日志,去查记录,去写 SQL,而后去作相似于写一些工具来导数据等等。
从写代码到作管理是一种强烈转换
颖奇:接下来能够讲下您我的的履历。
曹犟:08 年刚去百度的时候是在百度知道团队作个性化推荐、作检索,而后就跟文锋、力力、耀洲,就咱们四个神策创始人,慢慢的就变成到一个团队,先作百度日志平台,再作用户行为分析。后来又作了 UDW,就是用户数据仓库;作了 User profile,就是用户画像;作了 ID-Mapping 的相关的一些工做。14 年 4 月份我离职去了极路由,作技术总监。15 年就咱们一块儿创业作神策。
颖奇:那听起来的话就是一直是在作数据相关的。
曹犟:对,一直是在作数据,而且我以前一直是作技术不是作管理的。在极路由虽然叫技术总监,但也仍是本身写代码。一年之前我还在写代码,可是如今没有时间(写代码)了。
颖奇:大概花了几年时间去作一个这么强烈的转换,大概两年半的时间?
曹犟:对,我以为这个还在转换过程当中吧。我一开始在神策负责 DataLoader,其实就是数据导入。后来我又去学写 iOS,跟另外一位作机器学习的同事参考国外开源的 SDK 分别作 iOS 和安卓。随着接入更多客户,我就承担了至关一部分的售前工做。后来团队从只有研发逐渐的扩展,运维、技术支持、售前,再到项目经理、实施工程师。团队的组建不是有意识的招人,而是跟着需求来。人愈来愈多,逐渐没有办法把精力放到写代码上,天然而然地就再也不写了。
更大的需求在产业更深处
颖奇:那咱们讲讲您对整个数据分析这个行业将来的一些见解吧,关于这个行业未来会怎么发展?它在整个大行业里会产生一个什么样的效果?
曹犟:数据分析,或者说咱们作的用户行为分析这个行业,过去三年咱们也遇上了好时候。一方面是行业竞争激烈,客观上需求在增加;另外一方面包括咱们一些友商在内,很努力的去教育市场。从互联网行业向外发散,非互联网行业,像银行、券商、航司,他们都对这个概念是有意识的,精细化运营、数据驱动、增加黑客他们都以为很好,因此咱们是碰上了一个好时候,用户行为分析理念会愈来愈深刻人心。这是第一点。第二点是落地的要求也会愈来愈高。对于互联网行业,只要提供一个好用的工具,工具作的效率很高就能用起来。传统行业虽然也有意识,可是帮助他们来落地,工具再好用都不够。这就是咱们的服务愈来愈重的一个缘由,因此落地也会愈来愈难。
例如《跨越鸿沟》的理念,一开始只有小部分人最愿意尝鲜,思惟最活跃的那部分人用,你的服务会很轻。如今咱们正在慢慢地跨越鸿沟,从早期尝鲜者到早期大众,可是早期大众用这个东西可能就须要咱们提供更多的东西,不只仅是一个工具,还须要好的方案、案例,别人怎么用的,同行怎么用的,互联网公司怎么用的,这些事情要求愈来愈高。
颖奇:那我能这么理解吗,您认为整个的数据分析行业未来是会比大家在最先期创业的时候想象的空间还要大。
曹犟:要大不少倍,咱们早期认为只有互联网公司才会用咱们的产品。如今咱们总结就是,若是对方有一个线上的服务,无论是 APP 仍是网页仍是小程序,只要对方所在行业有充分的竞争,甚至像 CCTV、人民日报,这些都是咱们的客户,最先很难想到。
颖奇:其实这个跟咱们如今作 ONES 这个产品是很像的。早年咱们认为可能客户都是作 APP 的、作研发的,可是如今包括你刚刚说的人民日报,他们也有来采购咱们了。
曹犟:对,这个从钉钉就能看出来,他们也覆盖了不少偏传统的一些企业。我以为这是一个很好的事情,由于客观上咱们是帮助整个社会、整个大的行业提高数据的使用效率,咱们企业的愿景就是往这一块。
颖奇:ONES 实际上也会讲到愿景,咱们的愿景是帮助客户更好更快地发布产品。咱们也能够来聊聊神策的愿景。
曹犟:神策的愿景是重构中国互联网数据根基。咱们最先主打的神策分析这个产品,客户确定会用得服务愈来愈深,会愈来愈到传统的行业里面去。可是从另外一个方面来说,这里还有一些新的需求。客户花这么大的代价采集了这些用户行为的数据,仅仅作分析,虽然分析能解决不少问题,可是也只发挥了 30% 的价值,剩下 70% 的价值,咱们就有一些其余的产品。
颖奇:就要考虑要怎么用它,才可以真正推动业务增加。
曹犟:咱们很是多的媒体、电商类客户有个性化推荐需求。零售、券商、航司客户有精细化、自动化、高效率运营高价值用户的需求,因此咱们的自动化运营产品能够解决这些问题。「神策客景」则主要是解决像咱们一类 SaaS 公司的需求,他们都面临客户续约的问题。因此咱们仍是用那一类数据,可是从不一样的场景上来作了新的一些产品出来。
颖奇:就是从收数据、分析数据、看数据到用数据,真正的把这个数据用起来。我还想问一下,您最近有没有看一些以为已经影响到您工做、管理或者技术上的书。
曹犟:我今年一共读了 74 本书,最近在看《从新定义公司:谷歌如何工做》,有几个观点我特别承认,例如 Google 的招聘观念是与其花那么大的代价招 50% 水平的人,而后花大代价去培养他们,但愿他们能表现到 90% 的水平,还不如一开始就花大代价去招 90% 水平的人。还有薛兆丰的《经济学讲义》,也有一些很好的观点。平时我也会作书评、读书笔记,会把书里好的部分记录下来。
颖奇:好的,今天有不少收获。很是感谢您的分享。
本文做者:王颖奇,联系方式:wangyingqi@gmail.com