计算广告丨《互联网广告算法和系统实践》读书笔记

引言

这是我阅读《互联网广告算法和系统实践》的笔记，做者王勇睿，在百度阅读上能够购买，书的篇幅很短，一天就能看完。

本书主要介绍了搜索广告算法、非搜索（定向）广告算法和实时竞价广告算法，为读者梳理了广告中的经常使用概念如CTR、ECPM，一个广告系统如何组成，实践中还会考虑什么问题，没有涉及多的数学和算法模型。本书适合入门，但做为小白，不少内容读完后没有具体的案例消化，理解深度上有所欠缺。我想当具有了必定的实践经验后再来翻阅此书，才能融会贯通。以后的计划是继续阅读刘鹏老师的《计算广告学》。

互联网广告算法和系统实践

第一部分 互联网广告简介

1.1 广告简介

• 广告是由已肯定的出资人经过各类媒介进行的有关产品（商品、服务和观点）的、有偿的、有组织的、综合的、劝服性的非人员的信息传播活动。

• 传统广告业务包括三方角色：广告主、媒体、普通受众

• 广告历史

1.2 互联网广告

• 显示广告、合约广告、定向广告、受众定向技术
• 担保式投放
• 竞价广告、广义二阶拍卖GSP、广义一阶拍卖GSP
• 搜索广告、上下文广告、实时竞价
• 广告交易平台、需求方平台、提供方平台
• 计费方式：点击付费CPC、销售付费CPS、千次展示付费CPM

1.3 互联网广告类型

• 条幅广告
• 邮件直接营销广告
• 富媒体广告
• 视频广告
• 文字链广告
• 社交广告
• 移动端广告

1.4 有效性模型

• 曝光：位置很重要。
• 关注：广告创意吸引人，借助算法定向精准投放
• 理解：让用户迅速理解广告
• 信息接受：研究人群行为，还要借助心理学
• 保持：追求中长期转化
• 购买：最终决策，给用户提供更多更好的选择

好创意不但能吸引人（提高CTR），并且可以抓住人（提高ROI）。

1.5 计费模式

• CPM：Cost Per Mile，按照千次展示计费，展示以后的效果广告平台不保证。适合品牌广告。
• CPT：Cost Per Time，按照单位时间计费。为了增长曝光度。
• CPC：Cost Per Click，按照千次点击计费，广告系统要负责对点击率CTR预估；广告主能够参与竞价。关注点击率，但不关注广告实际成交状况，风险由广告主承担。
• CPS：Cost Per Sale，关注转化率，对广告主有利。

对广告主，风险从大到小：CPM/CPT、CPC、CPS

广告系统收益指标：若千次展示的指望收益CPM值eCPM。

1.6 机制设计

1.6.1 广告位拍卖

• n个广告A，m个广告位S，m＜n，广告位拍卖从A中选取m条广告，依次放置到S中。
• 拍卖竞争除了展示机会，还包括S中排序位置。
• 广告位拍卖过程分为广告排序和广告扣费。广告排序考虑展示哪些广告，广告扣费考虑收取多少费用。
• 广告拍卖是屡次重复博弈，纳什均衡点、本地无嫉妒均衡、占优策略、激烈相容

1.6.2 广义一阶价格GFP

• 广告展示不扣费
• 一阶价格是指广告主自己出价。
• 不存在纳什均衡点，竞价机器人致使广告系统收益大大下降。

1.6.3 广义二阶价格GSP

• 对应第i位广告，若发生点击，GSP收取第i位广告主，第i+1位广告竞价加上一个货币最小值。
• 若广告主下降竞价，其展示位置不变时，不会下降收费。下家没有下降竞价行为，致使上家付出更多点击费用。存在本地无嫉妒均衡。
• 均衡报价：n个广告A，每条广告价值V，m个广告位S，每一个位置点击率X，每一个位置当前竞价P。对于任意广告位i上得到位置的广告j有\((v_j-p_i)x_i\ge(v_j-p_{i-1})x_{i-1}\)
• 均衡点不惟一，不是激励相容。
• 现实中广告扣费要考虑点击率因素。对于广告i，广告系统预估i在当前场景点击率ai，结合竞价bi，计算每千次展示指望收益\(ecpm_i=a_ib_i\)，随后将广告集合按照\(ecpm\)排序，排序靠前若干条用于展示。计费时，若第i个广告被点击，从广告主扣除费用为\(\frac{a_{i+1}b_{i+1}}{a_i}+最小货币单位\)
  • 若广告点击率越高，广告主扣除费用越少，激励用户优化广告质量提升广告点击率。

1.6.4 VCG机制

• 目标为最大化社会价值
• 有n个广告A，广告竞价为V，广告平台提供S广告位，每一个位置点击率X，每条广告真实价格V。当广告i不参与关键字拍卖，排在i后的广告主i+1,...,m可得到的预期总收益为

\[ x_iv_{i+1}+x_{i+1}v_{i+2}+...+x_mv_{m+1} \]

• 因为\(a_i\)参与，广告得到价值为

\[ x_{i+1}v_{i+1}+x_{i+2}v_{i+2}+...+x_mv_{m}+x_{m+1}v_{m+1} \]

• 一般只有m个广告位，因此\(x_{m+1}=0\)，若是\(a_i\)被点击，那么它要付出代价是给社会其余个体带来的利益损失

\[ (x_i-x_{i+1})v_{i+1}+(x_{i+1}-x{i+2})v_{i+2}+...+(x_{m-1}-x_m)v_m+(x_m-x_{m+1})v_{m+1} \]

• VCG相比GSP优点
  1. VCG激烈相容，按照真实估价出价是最优选择
  2. VCG机制最大化社会价值，有利于广告主
  3. VCG存在纳什均衡，均衡点惟一
• 缺点
  1. 计算困难，可解释性差
  2. 相同竞价状况VCG扣费低于GSP机制，广告系统不肯意下降收入

1.7 技术课题

• 优化目标
  • 计算广告学：找到用户、上下文和合适广告间最佳匹配。
  • 互联网广告算法核心问题：根据用户、环境、广告所有有效消息，找到最合适的投放策略和模型，兼顾浏览者、广告主、广告平台的最大利益，并不断调整。
  • 用户U、环境C、广告A，算法目标函数为\(F(U,C,A)\)
    • 对于广告主，关注投资回报率ROI，\(F=\frac{\sum_iReturn_i}{\sum_iInvest_i}\)
    • 对于用户，\(F=\frac{\sum_iClick_i}{\sum_iImpression_i}\)
    • 对于广告系统，\(F=CTR*PPC*Discount\)，\(CTR\)是点击率，\(PPC\)是点击收费，\(Discount\)业务因子。
• 搜索引擎技术
  • 广告系统和搜索引擎类似，广告系统没有爬虫模块，经过规范化步骤获取。
• 存储技术和实时计算技术
  • 须要一个适合大规模读写的存储系统，须要实时计算系统。
• 推荐技术
• 点击率预估CTR Prediction
• 广告主工具
  • 对广告主，广告系统提供推广工具和统计工具。
• 系统架构简介
  • 前端引擎：接受网页发来广告请求，初步处理发给后端，拿到结果拼接返回请求者，这是在线部分Online
  • 检索引擎：关注效率和性能，Online
  • 实时点击率预估服务：对广告打分，一维、二维分数，Online
  • 广告主操做消息更新服务：广告主有权随时更改广告竞价，Online
  • 用户行为数据收集和更新系统：通常是Online
  • 特征提取和行为分析：通常用Hadoop平台，Offline
  • 反做弊系统：Offine和Online
  • 广告主后台：Offline和Online
  • 存储系统：存储任务<key,value>形式，有Offline和Online
  • 计算系统：信息挖掘，通常采起Hadoop做数据挖掘和特征提取计算，采起MPI架构作模型训练。

第二部分 搜索广告

2.1 搜索广告架构

• 搜索广告：搜索过程当中搜索引擎推送的互联网广告。
• 当用户输入查询后，广告系统会通过：广告检索、广告排序、流量分配三个模块为用户提供广告。
• 广告检索：以当前查询关键字为基础+用户自身信息，从数以万计的广告集合中粗选出合适的广告。可分为广告索引和广告匹配子模块。
  • 广告索引：将广告建成\(<key：用户竞价词, value：关联的广告列表>\)的索引形式。
  • 广告匹配：将用户查询分解成相关竞价词，从建好的索引中提取广告。
• 广告排序：计算检索到广告的质量分数并排序。
• 流量分配：根据广告排序分数，决定当前状况给用户出哪些广告。

2.2 广告检索

• 根据用户关键字，选出相关广告，实际设置粗选和精选两个步骤：
  • 粗选：用信息检索，选取和查询关键字相关的一批广告。
  • 精选：精确的预估广告的点击率，进行排序。
• 广告检索通过三步骤：广告分析，关键字分析和相关性匹配。
  • 广告分析：对广告进行处理，获取广告相关信息。
  • 关键字分析：根据用户输入，判断是否出广告，出什么广告。
  • 相关性匹配：根据关键字分析结果，去索引库中检索广告。

2.2.1 广告分析

• 两个目的：
  • 将广告组织成倒排索引形式\(<key：竞价词-value：广告id链表>\)
  • 从广告中抽取特征。
• 广告主创建广告会选择相关的竞价词，容易形成常见词严重倾斜，解决问题的方法包括竞价词生成和模糊匹配。
  • 竞价词生成：广告系统经过分析广告主的landing page，帮助广告主选取竞价词。
  • 模糊匹配：用户选择一个通股出价，按照出价，广告系统本身选择跟广告相关的竞价词。

2.2.2 查询分析

• 长串：语义信息丰富，展示量不足，总量大，存储压力大。提取关键词汇很重要。
• 短串：语义信息不明确，根据用户个性化信息或上下文信息消除歧义。
• 重要指标：扩大召回。

2.2.3 相关性匹配

• 精确匹配：关键字严格包含某个竞价词才触发广告。
• 模糊匹配

2.3 广告排序

• 广告系统按照ECPM降序排列广告候选集，将排序靠前广告展示出来。
  • \(ECPM=广告竞拍价*广告CTR*1000\)
  • 广告竞拍价：广告主提供；CTR：广告系统利用机器学习准确预估；
• 基于点击模型的CTR预估方法
  • 点击率建模为\[P(click)=P(click|Seen)P(Seen)\]，从而计算\(P(click|Seen)\)
• 基于机器学习的CTR预估算法

2.3.1 逻辑回归模型

• 函数形式\(y=\frac{1}{(1+e^{-w^Tx})}\)
  • \(x输入特征向量，y预测目标，w学习特征权重\)
  • 输入x，类别为1的条件几率；输入x，类别为0的条件几率

• 采用极大似然估计学习特征权重\(w\)

  • 最大化似然函数的对数
  • 逻辑回归求解属于无约束优化问题，目标函数负对数似然函数刚好是凸函数，能够采用梯度降低等方法求解\(w\)。
  • 寻找负对数似然函数的梯度方向
  • 迭代公式

• 防止过拟合

  • L2正则\(NLL(w)+\lambda w^Tw\)
  • L1正则\(NLL(w)+\lambda\|w\|_1\)

• 漂移，在线学习：逻辑回归的对数似然函数具备样本可加性。

  • 随机梯度降低

2.3.2 特征处理方式

• 将人的先验知识，表示成机器学习算法可以接受的方式。
• 经常使用特征
  • 广告和查询关键字的类似度：广告自己特征、查询自己特征、类似广告的特征、类似查询的特征。
  • 广告的树形结构信息：广告主-广告帐户-广告计划-广告组-广告创意，同一个广告主的其余广告创意的CTR能帮助当前广告创意的CTR。

2.3.3 算法评估

• CTR预估模型效果是否好：全流量-小流量实验-离线指标验证

• 衡量预估CTR和真实CTR之间差别，使用AUC衡量CTR预估精度。AUC是ROC曲线下的面积。

  • ROC是二维平面上的曲线，横坐标是FPR，纵坐标是TPR。调节分类器参数，使得ROC曲线造成一条从(0,0)到(1,1)的曲线，AUC就是ROC曲线下面积之和。
  • 互联网广告系统计算AUC：AUC等价于正样本score大于负样本score的几率。若正负样本score值相同，则按0.5正样本score大于负样本score对计算。

• 假设正样本数M，负样本数N，计算AUC开销是M*N，经过排序减小AUC时间复杂度。

  • 将样本按照score大小从高到低排序，score第一大样本得到n=M+N的rank值；第二大样本得到rank值为n-1。对rank为r的正样本i，组成正样本score大于负样本score的样本对个数为 r-排在i后的正样本数。

  • 所以AUC可以下方式计算

2.4 广告主推荐工具

2.4.1 投放要素

• 广告主注册一个推广帐户Account，包含多个推广计划Campaign，每一个计划包含多个推广单元Group，设置Group主要须要竞价词Bidword和广告创意Creative。

• 一个Group完整投放需求和策略列表

• 搜索广告系统须要帮助广告主”充分表达本身投放需求”，给广告主提供投放基本元素。

  • 推荐重点在于竞价词Bidword。

2.4.2 竞价词推荐方式

• 竞价词的推荐方式

  • 主动推荐：不用广告主参加
  • 被动推荐：广告主主动建立一些搜索词

• 竞价词的匹配方式

  • 精确匹配：精确命中广告主所竞价的词
  • 模糊匹配：广告系统对竞价词进行必定程度的扩展

• 推荐工具实际上找到“一座桥梁“

  1. 广告主到中间节点边归一化权重，中间节点到候选词边故意话权重，文本相关性。
  2. 根据中间节点出度、入度信息，计算中间节点调整系数，结合第一步相关性，计算出：\(<广告主1，中间节点，候选词>\)的分数
  3. 根据\(<广告主1，中间节点，候选词>\)的数据，固定一个候选词，综合全部中间节点，计算全部\(广告主1，候选词1>\)分数，循环计算，得到\(<广告主1，候选词>\)打分列表。
  4. 根据分数排序，获取前N个词。

2.4. 3 其余工具

• 投放先后，广告主须要一些数据帮助决策或者反馈，以下

2.5 实践一：在线学习前沿

• 为了让模型特征量缩减，能够将逻辑回归目标函数修改为，模型将倾向于学习稀疏的\(w\)权重。

  \[NLL(w)+\lambda\|w\|_1\]

• 随机梯度降低法简单易行，但每每难以获得特征向量稀疏的结果，Google提出FTRL-Proximal方法能够获得稀疏性更好的训练结果，其更新公式为：

• 海量数据下，模型存储量过大给并发查询时效性带来很大挑战。
  • 下降模型特征维数，泊松选择法
  • 下降每一维特征存储量，float是4个字节，Google提出q2.13编码方式，用2个字节。

第三部分 定向广告

定向广告即非搜索广告

3.1 上下文定向

• 根据投放页面内容，推送相关广告。关键问题对页面内容的刻画：
  • 内容提供商自定义：广告平台预先人工定义一些网页的类型标签，内容提供商本身选择网页类型。
  • 页面关键字提取：爬虫抽取网页中内容，进行必定内容分析，从中抽取能够精确匹配上的竞价词，而后到广告库中检索广告。
  • 网页聚类：使用爬虫抽取网页内容，而后对网页库进行文本聚类。

3.2 受众定向

• 给当前用户流量打标签的过程
  • 显示标签应用：按照标签售卖流量
  • 隐式应用：不按照用户标签显示售卖流量
• 受众定向方法：
  • 用户背景资料调查、行为定向

3.2.1 监督行为定向

• 线性泊松回归模型，其中\(\lambda=w^tx\)，W为预估参数，x为特征向量，y为事件发生频次。
  • 给定数据集\(T={(x_i,y_i)}\)，有对数似然函数
  • 其对w的对每一项梯度值为
• 经过上面的线性泊松回归求出用户对该兴趣点的浏览频次的指望\(\lambda_{view}\)和点击频次的指望\(\lambda_{click}\)，用户i对类别k的CTR计算方法

3.2.2 非监督行为定向

• 将用户向量化表示
  • 基于item的向量表示法、基于query的向量表示法
  • 向量化后，行为定向问题建模成经典的聚类问题。

3.3 行为定向

• 按照用户的历史行为，进行广告推荐。用户的行为在不一样类型的广告系统中有不一样定义。

3.4 推荐系统

3.4.1 基于用户的协同过滤算法

• 想知道用户n对电影m的评分，须要参考与用户n类似的其余用户，用他们对m的评分来拟合n对m的评分\(r_{nm}\)。对于给定用户\(n\)，他打过度的电影集合是\(M_n\)，那么\(n\)的平均得分是\(r_n=\frac{1}{|M_n|}\sum_i^{\in}r_{ni}\)，用户n对电影m的评分能够经过以下公式计算，

  • \(U_n\)表示与n类似的用户集合，\(s_{uv}\)表示用户u和v之间的类似度，\(z_n\)是类似度平滑因子，\(z_n=\sum_i^{\in}|s_{uv}|\)。
  • 如何定义与n类似的用户集合，用什么方法衡量用户之间类似度，根据具体应用不断调试。

3.4.2 基于单品的协同过滤算法

• 用类似单品的得分来计算\(r_{nm}\)，计算方法以下

• \(s_{im}\)表示电影i同电影m的类似度，与基于用户的协同过滤算法相同，该类似度也须要根据具体应用不断调试。该算法须要用户有充足行为，当用户行为比较稀疏，难以给出准确预估结果。

3.4.3 奇异值分解SVD

• 但愿将数据维度下降，实现某种程度上的聚合。
• 将数据汇集成K个隐藏类，原始矩阵R可被分解成两个矩阵乘积形式\(R_{nm}=W_{nk}V_{km}\)，\(w_{nk}\)表示用户n对k类型电影的兴趣度，\(v_{km}\)表示电影m属于k类型电影的隶属度。
• 线性代数中，任何一个实矩阵R可分解为\(R=U\sum P^T\)
  • \(\sum\)是K*K的对角线矩阵，\(K\)为矩阵R的秩，对角线上每一个元素为\(RR^T\)矩阵特征值的平方根。
  • U是N*K的矩阵，每一列是矩阵\(RR^T\)的特征向量。
  • \(P^T\)为K*M的矩阵，P中每一列是矩阵\(A^TA\)的特征向量。
• 去除\(\sum\)中绝对值较小的特征值，并在U和P中除去其对于的特征向量使得，从而达到降维目的，使得R计算高效。
• 实际推荐系统，除了使用SVD方法求得W和V之外，另外一种方法令\(\hat{R}=WV\)，最小化\(\hat{R}\)和R的差别，求解出最优W和V。损失函数是

3.5 定向排序

• 定向广告排序和搜索广告排序机制基本相同，cpc收费下，二者按照ecpm进行排序。计算ecpm最重要因素是对广告进行ctr预估。
• 搜索广告的ctr预估通常是单模态模型，而定向ctr预估可看做是多模态模型，如何融合不一样定向方式也是多模态学习的难点。

3.6 实践一：定向广告算法架构

• 定向广告解决“这样一我的”应该配"什么样的广告"？

• 定向广告要素

• 第一步根据用户历史行为，选定一批用户的意图，并找到对应的广告。

  • 推荐系统（利用用户历史行为）
  • 利用用户属性方法（人口统计学）
  • 利用标签方法

• 第二步根据这些广告，进行排序。

  • 若是考虑点击率就是作\(<user,ad>\)点击率预估，得到打分。
  • 采用ecpm进行排序\(ecpm=ctr*bidprice\)

3.7 实践二：定向广告的平衡之道

• 关于用户疲劳
  • 针对频繁访问的用户
  • 针对访问次数稀疏，兴趣点转换很慢的用户
  • “一次性”的类型兴趣
  • “连续型”的类型兴趣
• 关于多样性
  • 给用户选择的余地
  • 首先保证召回率，而后根据候选集进行进一步选择，保证底线。
• 关于多目标
  • 除了CTR，还有ROI、CVR
  • 多指标线性融合\(rankscore=ctr*roi*bidprice\)
  • 对ROI好的创意筛选再利用\(rankscore=ctr*bidprice\)
• 关于E&E（搜寻和探索）
  • 如何给新加入的广告和冷广告展示的机会。

第四部分 实时广告竞价

• 实时广告竞价：创建一种流量交换的协议，使得媒体和广告联盟向全网范围的广告主提供还没有出售的流量，广告主和广告联盟实现合做双赢。

4.1 基本概念

• 技术核心
  • 将实时产生的展现广告流量及相关特征如客户信息、广告位信息推送给每一个感兴趣的购买者，而且搜索出反馈协议。
  • 对推送流量的价值进行实时评价并给出具体CPM出价的方法。

• 三类角色

  • 广告交易市场AdExchange：实时广告竞价中流量进行实时交易的平台。
  • 需求方平台DSP：广告交易市场中的买方。
  • 供应方平台SSP：广告交易市场中的卖方。

4.2 广告交易市场

4.2.1 历史与现状

• Mike Walrath创办Right Media，与Double Click、AdECN三足鼎立，随后被Yahoo收购。
• 2007年广告交易市场元年
• 2009年，实时广告竞价
• 2011年9月，阿里巴巴TANX平台

4.2.2 实时广告竞价

• 线下部分：竞价交易各参与者之间实现用户ID相互转换和对应，即Cookie Mapping。

• 线上部分：处理广告请求到来时的竞价和投放过程。

4.2.3 Cookie Mapping

• 使用cookie累计用户再互联网上的行为数据。
• 实时竞价时，用户信息不能共享给第三方，因而只将用户标识再竞价请求中提供给流量需求方。Cookie Mapping是解决各互联网公司标识不一致的标准方案。

4.2.4 实践1 典型的广告交易市场架构

• 围绕核心的流量交换引擎，有三个重要子系统：
  • 业务系统：为需求方和供给方提供接入共给交易市场的接口。
  • 财务系统：提供安全、高效的财务结算功能
  • 数据系统：对交易过程当中产生的数据进行记录、处理
  • 流量交换引擎：实时广告竞价体系的核心。

第五部分 广告系统架构及挑战

5.1 广告系统的特色

1. 高性能

2. 海量数据和存储

3. 可运维性

5.2 功能职责划分

1. 广告业务系统
2. 广告投放引擎
3. 广告效果检测系统
4. 广告防做弊和结算
5. 数据平台和算法

5.3 大型广告系统采用的技术

1. 高性能广告投放引擎
2. 基于Hadoop的数据平台：分布式计算框架
3. CDN
4. 关系数据库
5. J2EE或LAMP应用开发框架
6. 负载均衡
7. 服务化
8. 消息中间件

后记

• 数据管理平台DMP：Data Management Platform

• DMP在4个阶段保证数据安全性

• DMP容许外部数据挖掘引擎接入，产生不一样的数据分析结果，供不一样的应用方使用