揭秘一个大数据应用是怎样炼成的

　　经历了多年的BI专题应用建设，有幸能在一个传统企业里探索大数据应用的建设过程，发现了不少不同的地方，得到了不一样的感觉，下面是尚学堂的张老师以他参与过的一个真实的案例建设过程来品味其中的不一样，也许能得到一些启示。
课题是怎么来的?
　　大数据应用最大的挑战，就是将来的不肯定性，所以，传统公司动辄提早半年进行投资预算规划的方式是不太适合大数据的。
　　作大数据几年，虽说如今靠谱的大数据的商业模式也就在广告、金融、公益等方面，但真要下决心干某个大数据应用项目，其突发性、偶然性也很是强，由于对于大数据这个不成熟事物，不管是哪类公司，观望占了很大部分，对大数据的质疑有之，对于大数据安全的惶恐有之，对于合做模式的疑惑有之，更多的是不停的提出想法，不停的被否认。
　　企业顺应大势成立了大数据团队，最痛苦的是不知道干什么，什么能干，什么不能干，也没啥可借鉴的经验，这跟当前创业公司也相似吧，不知道哪一种模式是靠谱的。
　　大数据几乎无所不能，但真要作起来，其实当前是能者寥寥，虽然趋势不可挡，但这一波搞大数据应用的，彷佛大多要死在黎明前，一个概念从提出到最终普世大众，的确路慢慢儿修远兮。
　　今天要聊的，是个公益课题，电话反欺诈，课题有必定的偶然性，安所有门提到了，问咱们能不能作作看，感受社会意义很大，好比腾讯有反欺诈盒子，360有拦截系统，原本某公司但愿来作这个课题，但综合各方面因素，仍是决定本身作。

　　做出这个决策的实际一天不到，因此决定本身作，基于如下几个因素：
　　一是这个大数据应用是有显著效益的。
　　二是很好评估，不像不少BI应用产出没法评估，备受质疑。
　　三是公司大数据平台创建了，提供了基础条件。
　　四是自主建模团队创建了一年多了，不须要太依赖合做伙伴，所以也无需走那套冗长的招标流程，失败的代价也会小。
团队如何组建?
　　跟传统的安排不一样，抛出这个课题后，主动接受这个挑战的，倒是一名从一线刚过来的同事，面对不肯定性，想来大多数有资历的员工也会犹豫老半天吧，这个也有必定偶然性。
　　谷歌讲到了招聘人才，提到了不管多大代价也要找到创意精英，而作大数据，更加须要，须要主动型的创意精英，若是传统企业每一个人仍然像传统那样局限在本身一亩三分地，很难有创新突破。
　　很幸运，咱们有一只黑天鹅。
　　这种自愿组队模式的确有很大的好处，不按计划分配，尊重我的的意愿，更能激发人的主动性，团队组建也很是快，当天组队，次日就开干，不存在相似项目的繁琐流程。
　　虽然团队成立有必定的偶然性，但的确与与企业近年来在大数据组织创新、人才引进和人员流动上的努力分不开。
　　假如没有大数据组织的成立，谁牵头都是个问题;假如不扔掉传统的包袱，很难有人专心作这个;假如没有企业内的人才流动和外部人才的引入，咱们也干不了这个事。
平台资源如何解决?
　　在那个传统BI小型机时代，要作一个项目，抛开硬件资源环境的投资立项过程不说，光是一个新项目的集成估计也不止一个月。
　　而这个项目不一样之处是：
　　一是基于大数据平台的租户能力，资源申请所见即所得，加上流程，一周内所有搞定。
　　二是提供的组件较为丰富，特别是流处理资源的快速提供，为反欺诈的实时性提供了坚实的基础，换在几年前基本不可能。
　　三是公司技术团队的保障，使得大多技术问题得以尽快解决，这也有赖于公司在大数据平台上的末雨绸缪。
　　某人说过，凡是能用钱解决的问题都不是问题，但技术这个东西，虽然用钱的确可能解决，但对于大多数公司，钱都是个大问题，所以技术问题的解决又是何其艰难。
　　好比咱们碰到Kafka的一些问题，长期难解决，大多企业的机制流程恐怕也不容许随便开价100万招个技术专家来解决吧，传统企业的自我技术进步是部血泪史，外面的专家开价开不起，本身的专家起来了，又怕被人家挖。
项目开发历程
　　敏捷开发如今提得不少了，但感受之前BI的建设就是最大的敏捷，最极致的状况，一我的搞定需求、开发、上线和维护，固然，如今软件工程的确仍是要靠分工协做，须要一套方法论来解决显性迭代和维护配合的问题。
　　大数据创新太特殊了，不必循规蹈矩，抛开所有的束缚，一切要为速度让步。缘由是失败可能性很大，速度越快成本越低，同时既然对于公司原有业务没有影响，所以能够放手去干，什么文档均可以不要，什么既定流程均可以不遵照，反正光脚不怕穿鞋的。
　　所以，这个课题作的很是快。
　　第10天，作出一个反欺诈简单模型，包括了案例分析、数据准备、数据建模及验证等，咱们的观点是第一个版本能够粗糙一点，但愿尽快验证这个事情的可行性，不然一切都是徒劳，所以就是讨论和验证数据。
　　当时规定两个礼拜若是出不告终果，就会放弃，这类应用失败可能性很高，但船小好调头，之后作一些创新，都建议给创新作个时间止损点。
　　第25天，生产完成部署，也就是具有系统支撑能力，除了系统部署方案须要专业部门把关，其余基本是能省就省，当时的想法是，这类创新项目最好一个月就能搞上线，起码能测试吧，相对之前BI应用项目动辄半年甚至1年的节奏，的确大不一样。
　　创新，速度始终是王道，所以日报变成刚需，也回忆起了某位离职运营商去创业的一个领导，他说天天凌晨就要看昨天的日报，以便安排当天的工做，咱们可能作不到这么疯狂，但日报的节奏是对的。
　　第30天，一直在外呼现场进行验证迭代，直到36天，得到承认为止，之后就是持续调优，但这个数据已经能够投入生产了。通常电话诈骗很难在事中干预，但这个模型作到了，准确度达到90%以上，经过实时事中干预挽回收入损失超千万。
　　这个应用就是中国移动的天盾大数据反欺诈系统，它就是这么诞生的，没有什么大汇报，没有什么流程，就是很轻很轻的来了。
　　如今算法还有不少问题，反欺诈矛与盾的争夺是很艰辛的，面上的风光底下是天天建模师的坚苦卓绝的努力，上了不少新算法，不少不少失败，拉低了成功率，对于这个你们是异常焦虑的，群里老是不停的讨论，你们都知道这个是核心竞争力，路还很长，还须要坚持。
　　这个应用还难言成功，只是传统企业在大数据应用上的一次不一样的尝试，但无论怎样，互联网快速迭代的那套的确是给了很大的启示，本身作了，才知道原来的差距是如此巨大，本身的能力是如此脆弱。
　　从课题的角度讲，要认识到大数据这个事物的不肯定性，选择它具备偶然性，没有规划能预料到这个，当前大数据变现商业模式也并不成熟，不要奢望投资大数据立刻有产出，也许能力储备是第一位的。
　　从组织的角度讲，大数据人才属于稀缺人才，要么打破原有框架，不拘一格外部找人才，要么充分企业内挖潜，让人员能流动起来。流动的人才有一个特色，即至少有一颗骚动的心，主动性对于作成功一件事极为重要。
　　从能力的角度讲，假如要向大数据转型，则仍是要对“没有一个大数据公司，能依靠合做伙伴得到成功”这句话有所敬畏，大数据的核心能力要掌握在本身手里。
　　从平台的角度讲，若是没有大数据平台的创建，这个项目可以有效果也许是半年之后的事情，但机会稍纵即逝，没人会等你这么久，所以此类基础设施建设不能犹豫，“书到用时方恨少”。
　　从开发的角度讲，先设定一个小目标，搞他个十万八万的，只要有点看得见的产出就行啊，快速迭代，始终是王道，失败了也没什么大不了，咱们缺的就是经验，多头并行也不是不能够，只要有足够的创意精英。
　　固然说易行难，以上几点对于大多数公司来讲是如此不易，也不能以一个应用的成功与否说明任何问题，大数据要成功，就像黑天鹅，有必定偶然性，但若是连准备的勇气都没有，没有一点实质改革的动做，就没有任何成功的可能了。