导语:安全
现在,移动互联网浪潮进入白热化竞争态势,APP渠道传播成为不少企业经常使用的推广方式,APP推广费用也在水涨船高,从PC时代的一个装机0.5元到1元不等,到移动互联网时代的5元,甚至几十元,但为何转化效果却愈来愈差。在如此巨大经济利益的驱使下,渠道推广掺假成为业界的广泛认知,渠道不刷量也只存在于童话故事里。所以,如何能减小APP推广经费被羊毛党消耗,便成为了大部分互联网企业都在思考的问题。 网络
本报告将分享阿里巴巴集团安所有关于App流量推广数据造假攻防的产业链的应对,重点介绍阿里安全首创的五层识别模型是如何在与黑产攻防转换斗争中,有效识别各类刷量做弊,为企业用户节省开支,减小业务损失。工具
下面有请阿里巴巴集团移动安全专家马征,为你们分享APP渠道推广做弊攻防那些事儿。测试
嘉宾演讲正文:大数据
刚才一位同窗作了一个很好的分享,也介绍了一些黑科技,实际上这些黑科技在整个阿里巴巴集团安所有来说只是冰山一角,那么咱们日常会把这些黑科技应用在哪些地方,实际上最主要的一个“战场”就是在与黑产的对抗当中,与黑产高强的对抗,是应用咱们这些技术的主战场。下面由我进行一些有趣的分享。网站
首先咱们先了解一下如今整个APP推广行业的背景,看看推广环境是怎么样的,2017年对移动互联网公司来说是很是恐怖的,这是王兴讲过一句话。阿里云
第一,咱们本身的大数据分析整体手机数量已经不涨了,智能手机已经走过10个年头的发展,新增量和淘汰量是持平的,整体智能手机的数量已经再也不增加了。加密
第二,竞品太多,消费者卸载,同一类型的APP最终留在咱们客户的手机里面的基本上都分一个类型或者一个类型里面留一款,我用了高德都不会再用百度,用了饿了么就再也不用美团,因此基本上最终留下来的只有一个,因此竞品太多,消费者初期可能会装,可是后期的卸载率是很高的。插件
第三,由于前面咱们说过“盘子”已经固定了,“蛋糕”已经这么大了,再也不涨了,并且竞品这么多,致使如今总体的推广费用涨了近30%,这是进您上半年的一个数据。这张图能够直观看到APP的推广费用,直播行业价格还算低一点。下一个纬度就是在游戏行业里面,大部分推广费用就已经上升到20块到30块一个新增,那么到了金融领域就是跟钱相关的这些APP当中,像平安银行信用卡一个新增到的55块钱,价格很是高,并且咱们经过其余渠道看到,包括我本身接触的一些用户咱们也看到,甚至咱们接触过一个新增100块钱也是很多见的,因此整体的推广费用会一直涨,并且这个数量在将来几年以内它不会中止它涨的趋势。因此总体的外在环境仍是比较恶劣的。htm
那除了外部的环境以外,一本财经有一个报告,1000万流量推广预算的60%是被内鬼、中介、羊毛党吞噬,利润的分红是四六分,我六,你四,其实受损的是企业。那只要有利益存在的地方,就必定会成为黑客的攻击目标,必定会成为黑客的重点,黑客利用病毒天天能够获利300万到500万美圆,整个APP渠道推广的市场是多么的诱人,会有愈来愈多的黑产来分这个“蛋糕”。
下面简单看一下目前企业常见的几种推广方式。
第一种企业会选择大的渠道商,好比说应用市场或者微博、头条这种大的渠道商去作推广,会在内部作广告,而后去作APP上架包括排名,包括下载推荐等等。那么在作这种大型的渠道商推广的时候,咱们常面临几个比较麻烦的问题。首先大型的渠道商通常比较强势,咱们真正去作APP推广大部分是中型的企业或者小型的创业企业。咱们跟你们谈的时候是很难拿到一个合理的价格,他们比较强势,因此咱们性价比不是很高,虽然大型渠道商周边量不多,可是它信用很高,可是一个APP的推广成本很高,那么在这样的渠道里面咱们即便抓到一个刷量,或者一个有问题的量,那咱们所为用户节省资金实际上不小于小的这种渠道商的。
第二个纬度就是手机厂商预装的方式来作APP推广,目前来说手机厂商预装这种方式比较混乱,就是没有一个特别好的规范或者没有一个特别好的管理,那么以前就有新闻报道过,就是某个国产的手机厂商,具体名字不谈了,当年它的出货量是100万台左右,可是它给某APP作推广报了500万的数量,这个事情比较尴尬了。一台手机难道要装5个如出一辙的APP吗?这也是一种很是不规范的,就是没有经过强管理的渠道。
第三种利用广告联盟小型或者种型的渠道进行推广,这种方式也是多数的企业所采用的一种方式,可是问题也是最大的,体积越庞大,问题越多,存在的刷量越多,市场一样是不规范的,虽然咱们看到广告联盟推广的时候可能费用会比较低,但实际上存在的刷量仍是很是高的,最后用三个词来形容就是“水太深”。那基本上广告联盟的结算方式会配渠道号去作结算。
下面进入正式的攻防对抗了,只要有利润黑客就会追逐利润,只要有资金,黑客就会去刷,就会去吃这块“蛋糕”,下面简单介绍一下黑客发现这块“蛋糕”,他们是怎么去吃这个“蛋糕”了。
首先咱们发现黑客采用比较常见的方式是叫众筹刷,这是一款众筹刷的一个软件,里面集成了很是多须要作推广的安装包,我把这个装在个人手机上面,一个两三毛,作这种众筹刷的黑产在从中获利。它的特色比较明确,这些全部作APP激活或者安装的都是真人,地理位置都是不一样的,全国的任何一个位置都有可能。第二没有很明显的做弊特征,识别难度比较大,这些实际上仍是经过咱们真实的用户在去作点击去作安装,实际下载到也是用户的手机上面,没有明显做弊的特征。可是面临的问题也很明显,它须要绑定银行卡去提现,做为我来说去作这件事情,自己的金额又不大,对我来说诱惑不是很高。它本身众筹刷软件自己的推广也是一个比较大的问题,我怎么让人知道我这款软件来作这个事情,这个也是比较大的难点,因此总体来说众筹刷的方式不太多,占必定部分的比例。
第二种比较厉害,是作病毒刷,根据2016年猎豹发布的报告,他们发现了一款叫作“悍马”的一个病毒,在全球,天天能达到140万的日活,他们也作了一个测试,在两到三个小时以内这个病毒就安装了200个应用,消耗掉用户的容量达到2个G,一个APP0.5美圆成本,一天就能够赚50万美圆,这个很是诱人。讲一下它的特色,首先利用病毒款是在比较老的设备上进行,这种比较容易种这种病毒。同时这个病毒可以自动激活,激活设备也是真人真机,我不知道个人手机中了病毒了,也不能在默默的安装应用。这两个面临比较大的难点,首先病毒开发自己是须要必定的技术门槛的,并且将来随着安卓6.0版本以上,iOS10版本以上,对于开发的难度会愈来愈大,那么传播的难度也就愈来愈大,如今大多数人的安全意识已经在慢慢提升,咱们都知道可能在一些不明连接下下载的APP是不安全的,包括一些钓鱼网站国家进行大力的打击,你们都会在正规的应用市场上面去作下载,因此它的传播难度仍是蛮大的。
第三种方式是人肉刷,这就是咱们的设备牧场,我不知道在座的各位有没有见过这个场景?实际上仍是比较壮观的,在一个房间里面,多的用书架,很是很是多的设备,而后经过一到两我的挨个点击进行安装,恢复设置而后进行下一批的安装,这个就是设备牧场。这个是咱们发现的一个设备牧场的广告,拥有粉丝就拥有劳斯莱斯,这个话和阿里客户第一的价值观比较相符,可是不一样点在于它是用粉丝来换取“劳斯莱斯”的,阿里是把咱们的粉丝当作劳斯莱斯对待,这是咱们之间的区别。 那么这种人肉刷的方式特色比较明确,首先设备要有越狱的权限,这是须要一个最基础的条件。第二,它一般安装有修改设备信息的软件,由于我刷完一批之后,我经过修改设备信息的软件要进行修改,而后再安装另一批软件,或者次日一样安装第一天安装过的软件,算一个新量。因此它须要修改设备信息的文件保持安装量。可是激活IP和地理位置比较统一了,设备牧场集中在一个环境里面,那么比较大的缺点或者比较大的问题就是它做弊成本相对偏高,须要购入真实的机器去作人肉刷。
最后一种是机器刷,就是电脑运行的模拟器,进行安装各个APP,如今主流的做弊设备吃的大部份内存比较严重,由于CPU和硬盘资源足够用了,那么瓶颈是在内存。一台实际内存设备为某一个模拟器分担20兆的内存,一台这样的设备也就是几千块钱,能跑51台模拟设备。机器刷的特色也比较明确,首先用到99%以上是模拟器,这些模拟器大多数拥有越狱的权限,拥有修改设备信息的软件,好比定位软件,我但愿定位到北京,刷一批,再定位到其余的城市刷一批,做弊的成本相对比较低,几千块钱模拟出不少的设备。
那针对以上刷量的威胁,咱们看一下被刷的危害。
首先第一个金钱成本,这个不用说了,咱们花了1000万去作推广,但真实安装到个人APP的用户只占了50%,那我至关用500万打了水漂。
第二个是信用成本,每一年咱们申请一两千万的预算,最终为公司所带来真实的用户量其实是刷出来的,是很是少的,说严重一点老板会不会怀疑咱们是跟刷量的作勾结,而后把钱款吞掉了,说得再轻一点,即便老板不怀疑咱们的人品,不怀疑咱们去内外勾结分钱,那会对个人工做能力作质疑。
第三机会成本,由于通常的用户在作推广的时候,是在几个关键业务节点,包括上市以前包括某一个风口,若是在这个节点上面作推广,有一大部分是被机器刷掉了,颇有可能错过了一个很是好的机会,错过一个很好的风口,也有可能失去了下一个10亿美圆的独角兽。
第四数据不靠谱,我以为这个超越前三个危害,如今这个时代已经进入数据时代,全部的公司都是以数据来讲话,用数据规划咱们将来的业务方向,咱们在对传统的门户网站去作安全服务的时候,今年春节后忽然发现业务PC访问量爆增,按照正常的逻辑来说在这个时代,咱们PC业务是呈一个缓慢降低的趋势,可是它从3月份开始发现他们的PC访问是呈直线上升的趋势,他们慌了,由于他们原本已经转型字移动端了,看到这个访问量不知道下一步整个公司该怎么投资,业务重心怎么偏斜,那这个究竟是来自真实的用户,仍是被一些黑产盯上了,在刷咱们,通过排查是被刷了。咱们以用户基础作的数据分析、业务分析,假如只参进10%的水分,最终致使咱们的用户画像不许确,将来业务发展的方向颇有可能受到影响,这个是被刷的危害。
下面进入攻防转换,前面企业发现被刷的危害,咱们怎么去处理这个方式,咱们有了第一代反做弊的手段。第一咱们收集检测是否安装了做弊工具,好比像模拟器,首先检测安装了APP的设备是否存在做弊工具,若是存在的话就处理掉。第二检测ROOT、越狱权限,咱们发现是大量存在越狱的权限,我就要报高风险,而后进行分析判断是否是做弊的设备。第三,如今有不少用户仍然用到的一个方式,就是作具体业务的分析,7日留存或者自定义事件触发等等,这个用户首先安装客户端,天天还要有启动,天天要有点击进行搜索连接, 在某些真实的页面要停留5秒以上,这个才算一个活跃,就是结合咱们的业务逻辑去判断他是一个活跃用户仍是一个刷量。这是咱们为了应对前面说的这种方式来想出的反做弊的技术。
黑产当发现咱们进行对旁的时候,它也会跟咱们作对抗,它是在攻守转换,黑产也会看咱们的检测技术,咱们前面说了检测修改设备信息的分享工具,黑产如今作得更加高明,会用一些工具反进程枚举,会自动屏蔽掉一些进程,让咱们检测不到这台设备安装了黑产软件,前面咱们说会去检测ROOT、检测越狱的状况,黑产会利用一些插件去屏蔽掉个人越狱痕迹,检测不到个人越狱项。包括如今也在用到业务数据去作渠道推广的反做弊,如今黑产只要摸清咱们业务数据的点,只要用很短期抓住咱们这些数据曲的纬度利用脚本很轻松的做出一套很是完美的报表,这是一个例子,伪造日活和业务数据,24小时有监控,并且他们有本身的团队,价格优惠力度很大,这个咱们也作过调研,几千块钱能够送10万的装机量,很是很是便宜,并且报表呈现的很是完美,这个也是咱们不少企业很是头疼的一个问题,就是我在作推广的时候,你要什么样的数据,你要什么样的报表我均可以给你,可是只要我跟你进行钱的结算,只要结算完超过一周甚至短的几天你的数据直线下来了,这是很是头疼的,只要咱们的业务逻辑被黑产拿到,他就模拟咱们的点,利用手机脚本新一代神器,你们能够搜一下,这种工具很是多,利用脚本进行刷量。
下面继续进行攻防转换,刚才是黑产向咱们进攻,但如今咱们针对黑产这几个方式咱们有什么新的解决方案呢?最新的阿里云渠道反做弊解决方案当中,咱们引入了客户端和服务端去作检测,咱们利用大数据分析识别各类数据状况,咱们会有一个安全组件去识别和获取客户端APP运行的环境信息、系统信息、设备信息等等,咱们会取100多个纬度的信息,那中间经过咱们的白盒加密的方式进行输出。咱们渠道的信息在中间传输的过程中被黑产截获,黑产经过分析发现的咱们的纬度而后进行破解和模拟,整个过程变得没有意义。因此咱们在传输的过程中,利用白盒加密的方式,这是一种没有密钥的加密方式,很是安全,利用设备指纹,利用设备基础信息的查询,最终到安全智能识别引擎去作综合的分析,最后输出结果来识别它究竟是不是一台模拟器,它是否是设备牧场。
咱们用了哪些黑科技,最核心是五层识别模型。
最底层是黑名单过滤层,这也是一个比较简单的一层,阿里巴巴利用了10年的技术沉淀,由于每一年的双十一我相信既是咱们各位剁手族的盛宴,也是黑产的盛宴,黑产也是在双十一的时候借这个机会去刷咱们的量,接受双十一的洗礼,咱们沉淀了大量的黑名单,咱们知道哪些设备是做弊设备,哪些是正常设备,刚才提到了设备牧场更换设备的成本是比较高的,黑产在双十一的时候能够去刷淘宝、天猫,它已经在其余时候是刷咱们合做伙伴。因此咱们经过设备指纹进行黑名单的判断,只要发现有做弊行为的,咱们都会报高风险。
上面一层就是咱们的设备信息纬度的识别层,咱们会检测100多个纬度,这里面就不一一列出了,包括IP包括CPU都会进行检测,咱们会进行单一属性的输出,就是咱们每个检测都对应一个输出结果,有可能他的CPU是正常的,IP地址是正常的,可是IP信息是异常的,最后经过咱们综合分析会去报这个设备究竟是正常仍是不正常的设备,这是设备信息的识别层。
下面一层咱们除了设备信息纬度的识别,除了黑名单以外,还会去作大数据的分析,前面两层说的是单一设备,这个会结合另外的一些信息,举个例子,咱们判断了某一个设备是疑似做弊的设备,咱们再作校验,咱们看一周有没有过支付宝的付款行为,有没有淘宝的购物行为,有没有太高德的地图导航的行为,有没有UC的搜索行为,咱们根据各类行为发现一台彻底的设备没有任何刚才说的那些纬度的信息,咱们就有理由相信是一个做弊设备。即便前面疑似有可能做弊设备,可是咱们经过大数据的分析发现近三天有过购物记录和导航的应用,就是人经常使用的一些行为的话,咱们也会判断他有多是一个真机,那经过大数据分析把咱们的前面判断的纬度更加准确。
下面一层就是群体性分析层,咱们会分析网络类型以及它的分布特征,看是否是在同一个IP的安装,看看是否是同一个地点位置,这个就会屏蔽掉一些利用设备牧场去进行刷量的行为。
最上面是结合全部层的数据进行综合的判断,最终告诉咱们的客户这是否是一个真实的设备,仍是一个刷量的设备,这就是咱们整个最新的五层识别模型。
最后看一个案例,这是某个业务方60天的新增,这是业务方全球的业务,最夸张是在西班牙,总的新增量是610多万,咱们检测出来的做弊380多万,做弊的占比是92.5%,若是按照海外一美圆一个来计算的话,60天就为用户节省了600多万推广费用的开支,这是一个真实的案例。
最后说一下我本身的感想,我作了安全不少年了,安全这个东西不是特别好界定它的效果,何时作的效果还不错,何时作的效果通常,很难有一个量化的指标评估,不出事,没有效果就是安全作得还不错的标准,很难有量化的。可是整个渠道推广反做弊的技术颠覆了咱们这个概念,整个渠道推广的反做弊它是真实能够从用户的资金层面进行反馈,好比我投入了千万的推广费用,我删除了10%的做弊量,就是真真事实能为用户节省10%的开支,那这100万就是咱们阿里聚安全给你创造的价值,这就是咱们整个移动推广反做弊的一个产品和技术。谢谢你们。
——————————————————————
本文由阿里聚安全编写,转载请注明出处,更多安全资讯(嘉宾演讲PPT等)请关注阿里聚安全官方博客。