揭秘你所看不见的技术原理 - 广告推荐系统
摘要
每当我们打开百度进行搜索时，前面的几条搜索结果总是让人讨厌的广告，甚至出现了医疗广告导致本需要治疗的患者选择了错误的治疗方法而逝世，因此百度也被推到了风口浪尖。
同样当我们打开今日头条查看新闻，打开微博查看关注的内容时，总会有几条广告进入像街边小贴纸一样出现在我们面前。
虽然我本身很不喜欢广告，但是我却发现，在用百度搜索时，他总能推荐与搜索很相关的广告，而且每一次搜索广告还有所不同。而今日头条出现的广告看似是我们近期在京东、天猫、唯品会等查看过的商品。说来恐怖，我从来没有登录过今日头条，为何他会知道我在网络商城看过啥。其实了解了后面的原理，这个看似恐怖的疑虑就会迎刃而解。
广告切入无处不在
日常生活中，广告其实无时无刻不在我们面前出现，很多都是不经意间传播着广告。接下来我们拿几个较大的互联网平台展示广告的方法来讲解广告是如何切入我们生活的。
1. 百度广告切入点
就在去年（2017年），百度被推上了风口浪尖。魏泽西的一篇《你认为人性最大的‘恶’是什么？》引爆了百度广告竞价排名问题。对于普通人，我们痛恨这害人的广告，但是作为技术人员，却要思考百度的这个竞价排名是怎么实现的，同时在魏泽西需要医治时，百度是如何精准推荐。
当我们在百度搜索时，会有几条特殊的条目出现在搜索结果中，如果大家不仔细看并不会发现有什么不同。但是仔细一看却发现有“广告”两个字。其实这是百度预留了广告容器在搜索结果页面中。
将页面抽象一下，我们获得搜索结果图为：
这里的对外广告栏即为百度最大的盈利来源-广告竞价排名。
2. 头条广告切入点
作为一家非上市企业，单一产品企业，今日头条的估值达到了惊人的300亿美元，达到了京东市值的一半多。京东物流、金融、商场的业务量如此之大，相比我们理解的头条并不能与京东相媲美。为何市场会对头条市值估值如此之高。其实今日头条最大的收入来源-广告推荐起到了决定性的作用。
在新闻客户端中，今日头条一家占有了绝对的份额，在上下班间隙、出行间隙甚至是工作间隙，很多手机用户会不自觉地打开今日头条刷刷新闻。但不知大家有没有发现，在刷新闻时会出现一些近期曾经在某宝某东看过的商品，而有一些商品甚至我们都未曾浏览但近期需要购买。
其实这就是头条广告的切入点。相比百度广告，头条的广告切入点分散了许多，同时也友好一些，常常在不经意间就推荐一个广告。
将头条页面抽象一下，得到头条页面图为：
在新闻栏中插入广告栏，真是让人防不胜防。
3. 其他广告切入点
其实市面上还有很多很多广告切入点
- 类似微信朋友圈时不时会推送一些广告，用户还乐此不疲地对比谁的广告高大上；
- QQ会有一些弹出窗口，也会推送广告；
- 360引爆了免费杀毒，却用广告赚钱；
- 视频网站的广告从15s发展到现在的120s，甚至中间还插播广告，简直让用户感受下降到了石器时代；
- 等等等。
只要你免费用的东西，大多都有广告，毕竟慈善家少，大家都是商人都有一颗赚钱的心嘛。
广告推荐无所不用
既然各大平台都有广告位，那这广告位就不能空着，否则好不容易弄下来的广告位不赚钱，那不是白做了。而且广告位不但不能空着，还要尽最大的可能摆上最有价值的广告赚最多的钱。接下来就将以上面两个大型广告平台解析广告位赚钱的奥秘。
1. 百度广告推荐原理
在百度中搜索T恤或者白酒，百度搜索的前两项会出现相应的广告，但假如我们一直搜索相同的内容，发现广告有可能还是不同的，这是为什么呢？
其实道理很简单，百度有一套自己的广告推荐系统，整个系统运行如下：
- 在每一次进行搜索时，百度会对搜索关键字进行分解匹配，得到关键字匹配结果；
- 通过关键字匹配结果，百度会从关键字库中搜索出每一个关键字所在的分类，比如搜索医院、复方XX胶囊会被分为医疗类，搜索T恤、茅台会被分为商品类等等；
- 依据分类，百度寻找到参与竞价的商家。这需要商家提前在百度的分类中注册，是要花钱的；
- 百度将必要的信息发送给商家，比如关键字、设备信息等；
- 商家通过必要的信息，匹配出商家的最优解与竞拍价格，回传给百度；
- 百度依据竞拍价格、回传收到的时间、相关度、曾经点击率等等特征值进行综合排序，选出前X个结果展现在对外广告栏中。
当然也并不只有这类竞价排名，可能还会有关键字买断。比如搜索某一个关键字时，只会出现买断的广告，不再对其他进行排名。
竞价排名成功后，商家并不会马上把钱给百度，而是用户点击广告跳转到商家页面后，百度通过跳转与竞价进行扣费。这就是为什么我们每一次点开页面时，都先出现百度的某一个网址，然后再变成目标网址的原因。
曾经有说法，某医院广告点开一次会给百度700多RMB，这是多么的恐怖，每点开一次而不是在里面消费，医院就需要700块。如此巨款肯定不只是医院出，羊毛最终出在羊身上，最终承受的还是患者，所以这就是为什么百度被全国各大新闻媒体争相报道负面消息的原因。
2. 头条广告推荐原理
头条的推荐与百度会有稍许不同，而且由于头条并不是依据搜索进行广告推荐，因此一般不会推荐损人利己的广告。以下是头条的推荐流程：
- 用户打开头条，头条会读取用户设备上的一些信息（也有可能在安装第一次打开时就已经读取了信息，并把信息设置成唯一id缓存在本地），并把信息发送给头条的后台服务器；
- 后台服务器将读取的用后信息发送给已经注册竞价的广告投放者；
- 广告投放者依据用户的一些信息，匹配最满足用户的广告，拼装成广告图片与文字，并附上竞价信息回传给头条的竞价系统；
- 头条竞价系统依据竞价信息、综合点击率、回传时间等数据进行排序，选择最优解展示在广告模块中。
可以看到头条虽然不会依据关键字推荐损人利己的广告，但是头条会读取设备上的一些信息发送给后台服务器，也有可能是通讯录信息。可以说用户的个人隐私还是会在一定程度上被侵犯了（名义上大家都同意了隐私调款，但是现在各种调款不都是霸王条款吗，没有议价空间只能同意，否则你就别用吧）。
3. 小结
竞价排名并不是出价高就能展现在广告页，各平台还是会依据点击率、关联程度等等进行排名。同时当前的竞价并不是竞价多少就要付多少，也是会综合后面商家的排名进行收费。
总体来说广告竞价多多少少会侵犯用户隐私，毕竟现在是精准推荐的年代，不像电视里面洗脑广告了。
说来可悲，哈弗、MIT、加大伯克利这些世界上最聪明的人，居然在想着如何让用户能更多地点击广告，这是科学的退步还是进步呢，有待后人评价。
你已经是透明人了
当你打开头条、微博等应用，发现推荐的广告全是近期浏览过的商品，留意过的内容等，有没有想过这些广告是如何如此精准地推荐到看似并没有关联的应用中呢？下面就来揭秘广告为何能如此精准地推荐，而我们的信息又是如何“出卖”了我们的习惯。
当我们安装了应用、在电脑上打开了天猫商城，会发生如下神奇的事情：
手机天猫与pc的天猫商城会将设备与用户的一些信息发送至后台服务器，后台服务器会依据设备信息与用户的天猫账号信息做一个对应，把用户设备的信息存储在这个账号中。
当我们打开头条、微博这一些应用时，应用也会读取用户相关的信息，流程与上图类似。
接着头条、微博会把他们收集到的信息发送给天猫，天猫依据设备等信息找到这个设备上曾经登录过的天猫账号。再依据账号寻找到曾经浏览过的商品或者有意向购买的商品。如下图：
整个流程中，用户的信息都暴露给了商家与平台，这就是为何对于平台与商家来说，用户是透明人了。更有甚者，某一些应用连用户是躺着或者坐着玩手机、用户平时的谈吐也会通过话筒被记录，想想还真是害怕。
总结
理解了百度、头条等平台是如何推荐广告，让人更加担忧自己的个人信息了。其实这也是大势所趋，移动互联越来越发达，世界越来越小，个人的隐私当然也会越来少，否则不只是广告、服务也没办法做到精准定制。 竞价排名内部其实是一套很复杂的流程，如何做到精准竞价，如何做到精准推送都是一门很深奥的学问，中间涉及数学建模、机器学习、大数据等知识。若对这些深奥的知识有兴趣，还请大家通过google学术查阅相关的论文。