论文泛读：Click Fraud Detection: Adversarial Pattern Recognition over 5 Years at Microsoft

这篇论文很是适合工业界的人（好比我）去读，有不少的借鉴意义。

强烈建议本身去读。

title：五年微软经验的点击欺诈检测
摘要：1.微软很厉害。2.本文描述了大规模数据挖掘所面临的独特挑战、解决这一问题的技术的设计选择和原理，并举例说明了该系统在打击点击欺诈方面的有效性和一些定量结果。

1.What is Click Fraud? 什么是点击欺诈
Click fraud is the term used to describe artificial clicks generated on advertisements to either create direct or indirect financial gain from the pay per click payouts [36].
点击欺诈是一种虚假的点击去直接或间接的骗取PPC的钱。
点击欺诈->广告商为无心义的点击付费->广告商下降本身的出价->投资回报率下降->客户减小→公司利益受损

2.Examples of Click Fraud Attacks 点击欺诈例子
有人雇12我的来点击广告。有人用了一台电脑，天天模拟点击15次。还有个100000台电脑的大规模做弊，下载一个屏保后中毒，而后这个屏保会低频的去搜索特定的关键词。

3.Overview of paper
做为微软，我会讲一些大规模的数据挖掘的经验，来告诉大家怎么防护点击欺诈。

4.Why Click Fraud Detection Is Hard
挑战主要是如下几点：1.吞吐量大，天天数亿的点击 2.模型须要快速更新才能对抗 3.做弊是低频率的 4.用户的匿名性 5.攻击是能够编程的 6.精度要求高 7.须要在毫秒范围内检测做弊

5.Filtration System Principles 过滤系统原理
5.1 Lossless Processing
设计了一个过滤器，在以前是过滤掉的记录会删除，如今是会记录下来。咱们坚信点击守恒定律，点击既不会被创造，也不会被丢弃，只会从一种分类转换成另一种分类。
这就是无损失，不要删除过滤掉的点击。

5.2 Rapid Update Capabilities 快速更新策略
以前过滤策略是散布在不一样的系统里面，如今是一个单独的服务，咱们针对服务作了不少的事情，使得能够快速的修复／更新，以达到生产要求。
集中式的服务，极大的提升了咱们应对攻击的速度。

5.3 Rules Representation
规则的好处是：
1.清晰，能够输出报告
2.坏的规则很容易被分离出来，删除以后也不会影响模型
3.机器学习和规则能够融合
4.决策是能够被审计的？
5.出现bug很容易修复
6.易于解读
7.能够简单而又快速的更新模型
8.能够简单的整合别人的成果

5.4 Rule Bitmaps (“Multiple Rules”)
用bit来记录这个点击触发了哪些规则，好比001000101，就触发了1，3，7三条规则。若是有一个规则出现的故障，咱们以后只须要不考虑这一位便可。

5.5 Model Flighting (“Multiple Models”)
用多个模型，一样的输入，看结果以后，能够评价出模型的好坏。
是从实验走到线上的一个途径，并且能够选出好的规则？

5.6 Redundant Keys (“Multiple Keys”)
对一个用户，用多个冗余的key值来定义，增长做弊的成本。

1. 架构
   原文中说有个图来解释这个架构，但实际上论文里面并无这图= =，全凭想象。。。
   流程是：用户访问网站->发送http请求到adCenter请求广告→adCenter发送一个请求到engine->2ms内送到ARTEMIS (adCenter Real-Time Extendible Model Impression Scoring) 对用户进行打分（计算广告价格，并支持适时调整，且能够拒绝请求来阻止ddos攻击)→若是检测正常会开始广告拍卖，并返回一组广告给用户。
   对于欺诈的行为，咱们依旧会返回广告，由于若是拒绝返回广告的话，会让攻击者把这个行为当成训练信号，去使得他们的攻击程序更强。咱们能够经过继续服务流量，它既能够收集更多关于攻击者的数据，也能削弱攻击者探测过滤系统的能力。
   当用户点击广告以后->会经过adCenter重定向到连接→系统会记录用户的行为→若是用户产生购物行为的时候，会执行脚本→会产生数据在日志服务器
   点击，转化等数据会存放在日志里面，会在一个小时内被Minerva服务离线处理（Minerva是一个很是大的，1000台机器组成的集群，可以保留最完整的用户的操做行为。同时他也可以为广告主提供详细的报告。
   在这种架构下，毫秒时间内就能分辨做弊流量，且广告主可以在一个小时内就能拿到反馈。
   而后有一个工做台，每小时运行一次，用机器学习的模块去评估每一个广告商做弊的几率，工做台能够人为的暂停该广告商的供应，以便于进行审查客户帐户。这个工做台能够立案涉嫌欺诈。工做台的大部分功能是基于规则的，每个决策都是可见的。
   黑名单系统，每15分钟更新一次名单。
   爬虫系统，分析流量方的网站，收集数据，分析网站关键词，判断是否做弊。
   Bot instrumentation，
   Packet sniffers，分析http，获取记录。

2. Metrics
   主要是两种衡量标准，1.auc，acc 2.对整个流程进行评估

7.1 Case Base
每月收集约40份报告，由专家们进行评估调查。报告由机器生产，评估是不是已知的攻击。

7.2 Traffic Quality Metrics
咱们定义了Q1Q2指标来衡量流量的价值，1.0为基准，高于1.0表示很差。可是度量很差并不能表明做弊，只是表示流量很差而已。

1. Detection Techniques
   主要是七种检测规则。
   8.1 Bot Signatures
   每周，工程团队和支持团队会检查新的攻击类型，。对这些攻击行为进行分析，并在必要的时候制定新的规则来对付这些攻击。会对攻击写上特定的标签，并且流量能够重播，来衡量本身的规则是否有效。

8.2 Distribution Tests
将流量和预期的分布进行比较，来确认是不是人为构造的。

8.3 Scale families and reference curves
在代理ip的处理问题上，好比AOL，移动IP。
咱们会把规模从个体变成一个family。之前个体20以上就是做弊，如今family可能变成200，或者2000。来处理家庭规模的状况。

8.4 Traps
会设计一些陷阱，来让bot来跳下去。

8.5 Extremata
用来消除极端的不寻常行为，这些行为能够不用浪费人力，直接捕获高度的异常行为。

8.6 Key families
多个特征，进行检测。欺诈者能假装一个特征，可是不能假装多个特征，总会有一些特征，漏出马脚。

8.7 Machine-induced decision trees
机器学习。效果有效，可是解释性差。

9 Results
微软的反做弊很牛逼，已经持续运行五年了，一直在进步。

9.1 Automated Detection Performance
确实可以拦截欺诈行为。可是拦截率高，也不必定表明着是欺诈，多是广告的位置放置不当，致使了意外点击。
下面是拦截效果，很快的就能拦截掉做弊者。

9.2 Click Fraud Investigation Team
高质量的检查，使得反做弊小组能够花更多的时间在真正做弊的上面，而非作一些无心义的排查。

9.3 Traffic Quality
过滤掉做弊以后，使得整个Q1Q2提升，提升了流量方的质量。提升了用户搜索的相关性，广告商和流量方的价值也得以体现。

10 Conclusion 反做弊是广告领域很难的一个方向。不过咱们微软很厉害哦。