推荐系统01--余弦类似度

今天，咱们来聊聊协同过滤中的类似度计算方法有哪些。

类似度的本质
推荐系统中，推荐算法分为两个门派，一个是机器学习派，另外一个就是类似度门派。机器学习派是后起之秀，而类似度派则是泰山北斗，以至撑起来推荐系统的半壁江山。

近邻推荐顾名思义就是在地理位置上住得近。若是用户有个邻居，那么社交软件上把邻居推荐给他在直观上就很合理，固然，若是邻居姓王的话，就不要推荐了。

这里说的近邻，并不必定只是在三维空间下的地理位置的近邻，在任意高维空间均可以找到近邻，尤为是当用户和物品的特征维度都很高时，要找到用户隔壁的邻居，就不是那么直观，须要选择好用适合的类似度度量办法。

近邻推荐的核心就是类似度计算方法的选择，因为近邻推荐并无采用最优化思路，因此效果一般取决于矩阵的量化方式和类似度的选择。

类似度，与之配套的还有另外一个概念就是距离，二者都是用来量化两个物体在高维空间中的亲疏程度的，它们是硬币的两面。

推荐算法中的类似度门派，实际上有这么一个潜在假设：若是两个物体很类似，也就是距离很近，那么这两个物体就很容易产生同样的动做。

若是两篇新闻很类似，那么他们很容易被同一我的前后点击阅读，若是两个用户很类似，那么他们就很容易点击同一个新闻。这种符合直觉的假设，大部分时候很奏效。

其实属于另外一门派的推荐算法——机器学习中，也有不少算法在某种角度看作是类似度度量。

例如，逻辑回归或者线性回归中，一边是特征向量，另外一边是模型参数向量，二者的点积运算，就能够看作是类似度计算，只不过其中的模型参数向量值并非人肉指定的，而是从数据中由优化算法自动总结出来的。

在近邻推荐中，最经常使用的类似度是余弦类似度。然而能够选用的类似度并不仅是余弦类似度，还有欧氏距离、皮尔逊相关度、自适应的余弦类似度、局部敏感哈希等。使用场景各不相同，今天，我会分别一一介绍以下。

类似度的计算方法 数据分类
在真正开始巡视类似度计算方法前，我先给你把度量对象作个简单分类。类似度计算对象是向量，或者叫作高维空间下的坐标，一个意思。那表示这个向量的数值就有两种：

实数值； 布尔值，也就是 0 或者 1。 下面介绍的不一样计算方法适用于不一样的数据种类。

1 欧氏距离 欧氏距离，如名字所料，是一个欧式空间下度量距离的方法。两个物体，都在同一个空间下表示为两个点，假如叫作 p 和 q，分别都是
n 个坐标。那么欧式距离就是衡量这两个点之间的距离，从 p 到 q 移动要通过的距离。欧式距离不适合布尔向量之间。

这个公式就是，每个坐标上的取值相减，求平方和，最后输出方根。

显然，欧式距离获得的值是一个非负数，最大值是正无穷。一般类似度计算度量结果但愿是 [-1，1] 或者 [0，1]
之间，因此欧式距离要么没法直接使用到这个场景中，要么须要通过二次转化获得，我在文稿中放了一个最经常使用的转化公式，你能够点击
距离加一后取倒数。这个公式可以把范围为 0 到正无穷的欧式距离转换为 0 到 1 的类似度。

欧式距离度量的是空间中两个点的绝对差别，适用于分析用户能力模型之间的差别，好比消费能力、贡献内容的能力等。

固然，虽然欧式距离计算两个点的距离，实际上，点的坐标表示和咱们常说的向量表示是同一回事，但愿这句话是废话，你早已懂得。

2 余弦类似度 大名鼎鼎的余弦类似度，度量的是两个向量之间的夹角，其实就是用夹角的余弦值来度量，因此名字叫余弦类似度。当两个向量的夹角为 0
度时，余弦值为 1，当夹角为 90 度时，余弦值为 0，为 180 度时，余弦值则为 -1。

余弦类似度在度量文本类似度、用户类似度、物品类似度的时候都较为经常使用；可是在这里须要提醒你一点，余弦类似度的特色：它与向量的长度无关。由于余弦类似度计算须要对向量长度作归一化：

通过向量长度归一化后的类似度量方式，背后潜藏着这样一种思想：两个向量，只要方向一致，不管程度强弱，均可以视为“类似”。

这简直就是：招聘人才时只看价值观，不考核代码能力，只要肯干，搬砖嘛，谁搬不是搬。这样作错不错呢？很显然，有很是大的合理性。

好比，我用 140 字的微博摘要了一篇 5000
字的博客内容，二者获得的文本向量能够认为方向一致，词频等程度不一样，可是余弦类似度仍然认为他们是类似的。

在协同过滤中，若是选择余弦类似度，某种程度上更加依赖两个物品的共同评价用户数，而不是用户给予的评分多少。这就是因为余弦类似度被向量长度归一化后的结果。

余弦类似度对绝对值大小不敏感这件事，在某些应用上仍然有些问题。

举个小例子，用户 A 对两部电影评分分别是 1 分和 2 分，用户 B 对一样这两部电影评分是 4 分和 5
分。用余弦类似度计算出来，两个用户的类似度达到 0.98。这和实际直觉不符，用户 A 明显不喜欢这两部电影。

针对这个问题，对余弦类似度有个改进，改进的算法叫作调整的余弦类似度（Adjusted Cosine
Similarity）。调整的方法很简单，就是先计算向量每一个维度上的均值，而后每一个向量在各个维度上都减去均值后，再计算余弦类似度。

前面这个小例子，用调整的余弦类似度计算获得的类似度是 -0.1，呈现出两个用户口味相反，和直觉相符。

3 皮尔逊相关度 皮尔逊相关度，实际上也是一种余弦类似度，不过先对向量作了中心化，向量 p 和 q 各自减去向量的均值后，再计算余弦类似度。

皮尔逊相关度计算结果范围在 -1 到 1。-1 表示负相关，1 比表示正相关。皮尔逊相关度其实度量的是两个随机变量是否是在同增同减。

若是同时对两个随机变量采样，当其中一个获得较大的值另外一也较大，其中一个较小时另外一个也较小时，这就是正相关，计算出来的相关度就接近
1，这种状况属于狼狈为奸，反之就接近 -1。

因为皮尔逊相关度度量的时两个变量的变化趋势是否一致，因此不适合用做计算布尔值向量之间相关度，由于两个布尔向量也就是对应两个 0-1
分布的随机变量，这样的随机变量变化只有有限的两个取值，根本没有“变化趋势，高低起伏”这一说。

4 杰卡德（Jaccard）类似度
杰卡德类似度，是两个集合的交集元素个数在并集中所占的比例。因为集合很是适用于布尔向量表示，因此杰卡德类似度简直就是为布尔值向量私人定作的。对应的计算方式是：

分子是两个布尔向量作点积计算，获得的就是交集元素个数； 分母是两个布尔向量作或运算，再求元素和。
余弦类似度适用于评分数据，杰卡德类似度适合用于隐式反馈数据。例如，使用用户的收藏行为，计算用户之间的类似度，杰卡德类似度就适合来承担这个任务。

总结 今天，我介绍了经常使用的几种类似度计算方法，以及其各自的使用场景。

这里的场景是按照数据形式划分的，按照向量维度取值是不是布尔值来看，杰卡德类似度就只适合布尔值向量，余弦类似度弹性略大，适合两种向量。欧式距离度量的是绝对差别，余弦类似度度量的是方向差别，可是调整的余弦类似度则能够避免这个弱点。

如今留给你一个问题：若是在一个社交网络中，要计算好友的类似度，你会选择哪一种类似度来作？欢迎留言讨论。