转：基于用户投票的排名算法系列

互联网的出现，意味着"信息大爆炸"。

用户担忧的，再也不是信息太少，而是信息太多。如何从大量信息之中，快速有效地找出最重要的内容，成了互联网的一大核心问题。

各类各样的排名算法，是目前过滤信息的主要手段之一。对信息进行排名，意味着将信息按照重要性依次排列，而且及时进行更新。排列的依据，能够基于信息自己的特征，也能够基于用户的投票，即让用户决定，什么样的信息能够排在第一位。

下面，我将整理和分析一些基于用户投票的排名算法，打算分红六个部分连载，今天是第一篇。

1、Delicious

最直觉、最简单的算法，莫过于按照单位时间内用户的投票数进行排名。得票最多的项目，天然就排在第一位。

旧版的Delicious，有一个"热门书签排行榜"，就是这样统计出来的。

它按照"过去60分钟内被收藏的次数"进行排名。每过60分钟，就统计一次。

这个算法的优势是比较简单、容易部署、内容更新至关快；缺点是，一方面，排名变化不够平滑，前一个小时还排名靠前的内容，每每第二个小时就一落千丈，另外一方面，缺少自动淘汰旧项目的机制，某些热门内容可能会长期占据排行榜前列。

2、Hacker News

Hacker News是一个网络社区，能够张贴连接，或者讨论某个主题。

每一个帖子前面有一个向上的三角形，若是你以为这个内容很好，就点击一下，投上一票。根据得票数，系统自动统计出热门文章排行榜。可是，并不是得票最多的文章排在第一位，还要考虑时间因素，新文章应该比旧文章更容易获得好的排名。

Hacker News使用Paul Graham开发的Arc语言编写，源码能够从arclanguage.org下载。它的排名算法是这样实现的：

将上面的代码还原为数学公式：

其中，

　　P表示帖子的得票数，减去1是为了忽略发帖人的投票。

　　T表示距离发帖的时间（单位为小时），加上2是为了防止最新的帖子致使分母太小（之因此选择2，多是由于从原始文章出如今其余网站，到转贴至Hacker News，平均须要两个小时）。

　　G表示"重力因子"（gravityth power），即将帖子排名往下拉的力量，默认值为1.8，后文会详细讨论这个值。

从这个公式来看，决定帖子排名有三个因素：

第一个因素是得票数P。

在其余条件不变的状况下，得票越多，排名越高。

从上图能够看到，有三个同时发表的帖子，得票分别为200票、60票和30票（减1后为19九、59和29），分别以黄色、紫色和蓝色表示。在任一个时间点上，都是黄色曲线在最上方，蓝色曲线在最下方。

若是你不想让"高票帖子"与"低票帖子"的差距过大，能够在得票数上加一个小于1的指数，好比(P-1)^0.8。

第二个因素是距离发帖的时间T。

在其余条件不变的状况下，越是新发表的帖子，排名越高。或者说，一个帖子的排名，会随着时间不断降低。

从前一张图能够看到，通过24小时以后，全部帖子的得分基本上都小于1，这意味着它们都将跌到排行榜的末尾，保证了排名前列的都将是较新的内容。

第三个因素是重力因子G。

它的数值大小决定了排名随时间降低的速度。

从上图能够看到，三根曲线的其余参数都同样，G的值分别为1.五、1.8和2.0。G值越大，曲线越陡峭，排名降低得越快，意味着排行榜的更新速度越快。

知道了算法的构成，就能够调整参数的值，以适用你本身的应用程序。

[参考文献]

　　* How Hacker News ranking algorithm works

　　* How to Build a Popularity Algorithm You can be Proud of

 

基于用户投票的排名算法（二）：Reddit

上一次，我介绍了Hacker News的排名算法。它的特色是用户只能投同意票，可是不少网站还容许用户投反对票。就是说，除了好评之外，你还能够给某篇文章差评。

Reddit是美国最大的网上社区，它的每一个帖子前面都有向上和向下的箭头，分别表示"同意"和"反对"。用户点击进行投票，Reddit根据投票结果，计算出最新的"热点文章排行榜"。

怎样才能将同意票和反对票结合起来，计算出一段时间内最受欢迎的文章呢？若是文章A有100张同意票、5张反对票，文章B有1000张同意票、950张反对票，谁应该排在前面呢？

Reddit的程序是开源的，使用Python语言编写。排名算法的代码大体以下：

这段代码考虑了这样几个因素：

（1）帖子的新旧程度t

　　t = 发贴时间 - 2005年12月8日7:46:43

t的单位为秒，用unix时间戳计算。不难看出，一旦帖子发表，t就是固定值，不会随时间改变，并且帖子越新，t值越大。至于2005年12月8日，应该是Reddit成立的时间。

（2）同意票与反对票的差x

　　x = 同意票 - 反对票

（3）投票方向y

　　

y是一个符号变量，表示对文章的整体见解。若是同意票居多，y就是+1；若是反对票居多，y就是-1；若是同意票和反对票相等，y就是0。

（4）帖子的受确定（否认）的程度z

　　

z表示同意票与反对票之间差额的绝对值。若是对某个帖子的评价，越是一边倒，z就越大。若是同意票等于反对票，z就等于1。

结合以上几个变量，Reddit的最终得分计算公式以下：

　　

这个公式能够分红两个部分来讨论：

（一）

　　

这个部分表示，同意票与反对票的差额z越大，得分越高。

须要注意的是，这里用的是以10为底的对数，意味着z=10能够获得1分，z=100能够获得2分。也就是说，前10个投票人与后90个投票人（乃至再后面900个投票人）的权重是同样的，即若是一个帖子特别受到欢迎，那么越到后面投同意票，对得分越不会产生影响。

当同意票等于反对票，z=1，所以这个部分等于0，也就是不产生得分。

（二）

　　

这个部分表示，t越大，得分越高，即新帖子的得分会高于老帖子。它起到自动将老帖子的排名往下拉的做用。

分母的45000秒，等于12.5个小时，也就是说，后一天的帖子会比前一天的帖子多得2分。结合前一部分，能够获得结论，若是前一天的帖子在次日还想保持原先的排名，在这一天里面，它的z值必须增长100倍（净同意票增长100倍）。

y的做用是产生加分或减分。当同意票超过反对票时，这一部分为正，起到加分做用；当同意票少于反对票时，这一部分为负，起到减分做用；当二者相等，这一部分为0。这就保证了获得大量净同意票的文章，会排在前列；同意票与反对票接近或相等的文章，会排在后面；获得净反对票的文章，会排在最后（由于得分是负值）。

（三）

这种算法的一个问题是，对于那些有争议的文章（同意票和反对票很是接近），它们不可能排到前列。假定同一时间有两个帖子发表，文章A有1张同意票（发帖人投的）、0张反对票，文章B有1000张同意票、1000张反对票，那么A的排名会高于B，这显然不合理。

结论就是，Reddit的排名，基本上由发帖时间决定，超级受欢迎的文章会排在最前面，通常性受欢迎的文章、有争议的文章都不会很靠前。这决定了Reddit是一个符合大众口味的社区，不是一个很激进、能够展现少数派想法的地方。

[参考资料]

　　* How Reddit ranking algorithms work

基于用户投票的排名算法（三）：Stack 

上一篇文章，我介绍了Reddit的排名算法。

它的特色是，用户能够投同意票，也能够投反对票。也就是说，除了时间因素之外，只要考虑两个变量就够了。

可是，还有一些特定用途的网站，必须考虑更多的因素。世界排名第一的程序员问答社区Stack Overflow，就是这样一个网站。

你在上面提出各类关于编程的问题，等待别人回答。访问者能够对你的问题进行投票（同意票或反对票），表示这个问题是否是有价值。

一旦有人回答了你的问题，其余人也能够对这个回答投票（同意票或反对票）。

排名算法的做用是，找出某段时间内的热点问题，即哪些问题最被关注、获得了最多的讨论。

在Stack Overflow的页面上，每一个问题前面有三个数字，分别表示问题的得分、回答的数目和该问题的浏览次数。以这些变量为基础，就能够设计算法了。

创始人之一的Jeff Atwood，曾经在几年前，公布过排名得分的计算公式。

写成php代码，就是下面这样：

各个算法变量的含义以下：

（1）Qviews（问题的浏览次数）

　　

某个问题的浏览次数越多，就表明越受关注，得分也就越高。这里使用了以10为底的对数，用意是当访问量愈来愈大，它对得分的影响将不断变小。

（2）Qscore（问题得分）和Qanswers（回答的数量）

　　

首先，Qscore（问题得分）= 同意票-反对票。若是某个问题越受到好评，排名天然应该越靠前。

Qanswers表示回答的数量，表明有多少人参与这个问题。这个值越大，得分将成倍放大。这里须要注意的是，若是无人回答，Qanswers就等于0，这时Qscore再高也没用，意味着再好的问题，也必须有人回答，不然进不了热点问题排行榜。

（3）Ascores（回答得分）

　　

通常来讲，"回答"比"问题"更有意义。这一项的得分越高，就表明回答的质量越高。

可是我感受，简单加总的设计还不够全面。这里有两个问题。首先，一个正确的回答赛过一百个无用的回答，可是，简单加总会致使，1个得分为100的回答与100个得分为1的回答，总得分相同。其次，因为得分会出现负值，所以那些特别差的回答，会拉低正确回答的得分。

（4）Qage（距离问题发表的时间）和Qupdated（距离最后一个回答的时间）

　　

改写一下，能够看得更清楚：

　　

Qage和Qupdated的单位都是秒。若是一个问题的存在时间越久，或者距离上一次回答的时间越久，Qage和Qupdated的值就相应增大。

也就是说，随着时间流逝，这两个值都会越变越大，致使分母增大，所以总得分会愈来愈小。

（５）总结

Stack Overflow热点问题的排名，与参与度（Qviews和Qanswers）和质量（Qscore和Ascores）成正比，与时间（Qage和Qupdated）成反比。

基于用户投票的排名算法（四）：牛顿冷却定律

这个系列的前三篇，介绍了Hacker News，Reddit和Stack Overflow的排名算法。

今天，讨论一个更通常的数学模型。

这个系列的每篇文章，都是能够分开读的。可是，为了保证全部人都在同一页上，我再说一下，到目前为止，咱们用不一样方法，企图解决的都是同一个问题：根据用户的投票，决定最近一段时间内的"热文排名"。

你可能会以为，这是一个全新的课题，伴随着互联网而产生，须要全新的方法来解决。可是，实际上不是。咱们能够把"热文排名"想象成一个"天然冷却"的过程：

　　（1）任一时刻，网站中全部的文章，都有一个"当前温度"，温度最高的文章就排在第一位。

　　（2）若是一个用户对某篇文章投了同意票，该文章的温度就上升一度。

　　（3）随着时间流逝，全部文章的温度都逐渐"冷却"。

　　

这样假设的意义，在于咱们能够照搬物理学的冷却定律，使用现成的公式，创建"温度"与"时间"之间的函数关系，轻松构建一个"指数式衰减"（Exponential decay）的过程。

伟大的物理学家牛顿，早在17世纪就提出了温度冷却的数学公式，被后人称做"牛顿冷却定律"（Newton's Law of Cooling）。咱们就用这个定律构建排名算法。

"牛顿冷却定律"很是简单，用一句话就能够概况：

物体的冷却速度，与其当前温度与室温之间的温差成正比。

写成数学公式就是：

　　

其中，

　　- T(t)是温度（T）的时间（t）函数。微积分知识告诉咱们，温度变化（冷却）的速率就是温度函数的导数T'(t)。

　　- H表明室温，T(t)-H就是当前温度与室温之间的温差。因为当前温度高于室温，因此这是一个正值。

　　- 常数α（α>0）表示室温与降温速率之间的比例关系。前面的负号表示降温。不一样的物质有不一样的α值。

这是一个微分方程，为了计算当前温度，须要求出T(t)的函数表达式。

第一步，改写方程，而后等式两边取积分。

　　

　　

第二步，求出这个积分的解（c为常数项）。

　　

　　

　　

第三步，假定在时刻t₀，该物体的温度是T(t₀)，简写为T₀。代入上面的方程，获得

　　

　　

第四步，将上一步的C代入第二步的方程。

　　

假定室温H为0度，即全部物体最终都会"冷寂"，方程就能够简化为

　　

上面这个方程，就是咱们想要的最终结果：

　　本期温度 = 上一期温度 x exp(-(冷却系数) x 间隔的小时数)

将这个公式用在"排名算法"，就至关于（假定本期没有增长净同意票）

　　本期得分 = 上一期得分 x exp(-(冷却系数) x 间隔的小时数)

其中，"冷却系数"是一个你本身决定的值。若是假定一篇新文章的初始分数是100分，24小时以后"冷却"为1分，那么能够计算获得"冷却系数"约等于0.192。若是你想放慢"热文排名"的更新率，"冷却系数"就取一个较小的值，不然就取一个较大的值。

[参考文献]

　　*　Rank Hotness With Newton's Law of Cooling

基于用户投票的排名算法（五）：威尔逊区间

迄今为止，这个系列都在讨论，如何给出"某个时段"的排名，好比"过去24小时最热门的文章"。

可是，不少场合须要的是"全部时段"的排名，好比"最受用户好评的产品"。

这时，时间因素就不须要考虑了。这个系列的最后两篇，就研究不考虑时间因素的状况下，如何给出排名。

一种常见的错误算法是：

　　得分 = 同意票 - 反对票

假定有两个项目，项目A是60张同意票，40张反对票，项目B是550张同意票，450张反对票。请问，谁应该排在前面？按照上面的公式，B会排在前面，由于它的得分（550 - 450 = 100）高于A（60 - 40 = 20）。可是实际上，B的好评率只有55%（550 / 1000），而A为60%（60 / 100），因此正确的结果应该是A排在前面。

Urban Dictionary就是这种错误算法的实例。

　　

另外一种常见的错误算法是

　　得分 = 同意票 / 总票数

若是"总票数"很大，这种算法实际上是对的。问题出在若是"总票数"不多，这时就会出错。假定A有2张同意票、0张反对票，B有100张同意票、1张反对票。这种算法会使得A排在B前面。这显然错误。

Amazon就是这种错误算法的实例。

　　

那么，正确的算法是什么呢？

咱们先作以下设定：

　　（1）每一个用户的投票都是独立事件。

　　（2）用户只有两个选择，要么投同意票，要么投反对票。

　　（3）若是投票总人数为n，其中同意票为k，那么同意票的比例p就等于k/n。

若是你熟悉统计学，可能已经看出来了，这是一种统计分布，叫作"二项分布"（binomial distribution）。这很重要，下面立刻要用到。

咱们的思路是，p越大，就表明这个项目的好评比例越高，越应该排在前面。可是，p的可信性，取决于有多少人投票，若是样本过小，p就不可信。好在咱们已经知道，p是"二项分布"中某个事件的发生几率，所以咱们能够计算出p的置信区间。所谓"置信区间"，就是说，以某个几率而言，p会落在的那个区间。好比，某个产品的好评率是80%，可是这个值不必定可信。根据统计学，咱们只能说，有95%的把握能够判定，好评率在75%到85%之间，即置信区间是[75%, 85%]。

这样一来，排名算法就比较清晰了：

　　第一步，计算每一个项目的"好评率"（即同意票的比例）。

　　第二步，计算每一个"好评率"的置信区间（以95%的几率）。

　　第三步，根据置信区间的下限值，进行排名。这个值越大，排名就越高。

这样作的原理是，置信区间的宽窄与样本的数量有关。好比，A有8张同意票，2张反对票；B有80张同意票，20张反对票。这两个项目的同意票比例都是80%，可是B的置信区间（假定[75%, 85%]）会比A的置信区间（假定[70%, 90%]）窄得多，所以B的置信区间的下限值（75%）会比A（70%）大，因此B应该排在A前面。

置信区间的实质，就是进行可信度的修正，弥补样本量太小的影响。若是样本多，就说明比较可信，不须要很大的修正，因此置信区间会比较窄，下限值会比较大；若是样本少，就说明不必定可信，必须进行较大的修正，因此置信区间会比较宽，下限值会比较小。

二项分布的置信区间有多种计算公式，最多见的是"正态区间"（Normal approximation interval），教科书里几乎都是这种方法。可是，它只适用于样本较多的状况（np > 5 且 n(1 − p) > 5），对于小样本，它的准确性不好。

1927年，美国数学家 Edwin Bidwell Wilson提出了一个修正公式，被称为"威尔逊区间"，很好地解决了小样本的准确性问题。

　　

在上面的公式中，表示样本的"同意票比例"，n表示样本的大小，表示对应某个置信水平的z统计量，这是一个常数，能够经过查表或统计软件包获得。通常状况下，在95%的置信水平下，z统计量的值为1.96。

威尔逊置信区间的均值为

　　

它的下限值为

　　

能够看到，当n的值足够大时，这个下限值会趋向。若是n很是小（投票人不多），这个下限值会大大小于。实际上，起到了下降"同意票比例"的做用，使得该项目的得分变小、排名降低。

Reddit的评论排名，目前就使用这个算法。

　　

[参考文献]

　　* How Not To Sort By Average Rating

基于用户投票的排名算法（六）：贝叶斯平均

上一篇介绍了"威尔逊区间"，它解决了投票人数过少、致使结果不可信的问题。

举例来讲，若是只有2我的投票，"威尔逊区间"的下限值会将同意票的比例大幅拉低。这样作当然保证了排名的可信性，但也带来了另外一个问题：排行榜前列老是那些票数最多的项目，新项目或者冷门的项目，很难有出头机会，排名可能会长期靠后。

以IMDB为例，它是世界最大的电影数据库，观众能够对每部电影投票，最低为1分，最高为10分。

系统根据投票结果，计算出每部电影的平均得分。而后，再根据平均得分，排出最受欢迎的前250名的电影。

这里就有一个问题：热门电影与冷门电影的平均得分，是否真的可比？举例来讲，一部好莱坞大片有10000个观众投票，一部小成本的文艺片只有100个观众投票。这二者的投票结果，怎么比较？若是使用"威尔逊区间"，后者的得分将被大幅拉低，这样处理是否公平，能不能反映它们真正的质量？

一个合理的思路是，若是要比较两部电影的好坏，至少应该请一样多的观众观看和评分。既然文艺片的观众人数偏少，那么应该设法为它增长一些观众。

在排名页面的底部，IMDB给出了它的计算方法。

　　

　　- WR， 加权得分（weighted rating）。
　　- R，该电影的用户投票的平均得分（Rating）。
　　- v，该电影的投票人数（votes）。
　　- m，排名前250名的电影的最低投票数（如今为3000）。
　　- C， 全部电影的平均得分（如今为6.9）。

仔细研究这个公式，你会发现，IMDB为每部电影增长了3000张选票，而且这些选票的评分都为6.9。这样作的缘由是，假设全部电影都至少有3000张选票，那么就都具有了进入前250名的评选条件；而后假设这3000张选票的评分是全部电影的平均得分（即假设这部电影具备平均水准）；最后，用现有的观众投票进行修正，长期来看，v/(v+m)这部分的权重将愈来愈大，得分将慢慢接近真实状况。

这样作拉近了不一样电影之间投票人数的差别，使得投票人数较少的电影也有可能排名前列。

把这个公式写成更通常的形式：

　　

　　- C，投票人数扩展的规模，是一个自行设定的常数，与整个网站的整体用户人数有关，能够等于每一个项目的平均投票数。
　　- n，该项目的现有投票人数。
　　- x，该项目的每张选票的值。
　　- m，整体平均分，即整个网站全部选票的算术平均值。

这种算法被称为"贝叶斯平均"（Bayesian average）。由于某种程度上，它借鉴了"贝叶斯推断"（Bayesian inference）的思想：既然不知道投票结果，那就先估计一个值，而后不断用新的信息修正，使得它愈来愈接近正确的值。

在这个公式中，m（整体平均分）是"先验几率"，每一次新的投票都是一个调整因子，使整体平均分不断向该项目的真实投票结果靠近。投票人数越多，该项目的"贝叶斯平均"就越接近算术平均，对排名的影响就越小。

所以，这种方法能够给一些投票人数较少的项目，以相对公平的排名。

=================================================

"贝叶斯平均"也有缺点，主要问题是它假设用户的投票是正态分布。好比，电影A有10个观众评分，5个为五星，5个为一星；电影B也有10个观众评分，都给了三星。这两部电影的平均得分（不管是算术平均，仍是贝叶斯平均）都是三星，可是电影A可能比电影B更值得看。

解决这个问题的思路是，假定每一个用户的投票都是独立事件，每次投票只有n个选项能够选择，那么这就服从"多项分布"（Multinomial distribution），就能够结合贝叶斯定理，计算该分布的指望值。因为这涉及复杂的统计学知识，这里就不深刻了，感兴趣的朋友能够继续阅读William Morgan的How to rank products based on user input。

 

（完）转载自http://www.ruanyifeng.com/

 

 

参考文献：

How to Build a Popularity Algorithm You can be Proud of

How Hacker News ranking algorithm works

How Reddit ranking algorithms work

 

 

 

How Not To Sort By Average Rating

 

 

 

 

 

 

 

威尔逊区间下限来排名：

　　* How Not To Sort By Average Rating