用于推荐系统评估的概念与指标（2）

新颖性一般指在推荐中出现新的物品，这在不一样文献中有不一样的定义。在此，咱们将新颖性的定义和指标分为三个层次，以下表所示。本文中把新颖性指标称为𝑛𝑜𝑣（𝑅𝑢）。

1. 平常生活级别的新颖性

建立衡量平常生活级别新颖性的指标并不是易事。新颖性等级1的衡量必须考虑系统上下文中的信息，以便衡量用户已知和未知的内容。

2. 系统级别的新颖性

系统级别的新颖性有许多定义。简单来讲，对用户而言，新项目是指用户不知道或者知道不多的项目。

有人认为，新颖性是指推荐系统预测用户不知道且经过其余渠道也不会发现的项目。新颖性也被定义为推荐项目与用户已消费的项目之间的差别。新颖性还被定义为用户预测列表中未知项目的比例。

在实践中，以上定义仅在观察用户消费历史中先前消费的物品时，才会考虑新项目，而不会考虑系统外消耗的物品。总而言之，系统级别的新颖性是指在系统信息中用户未知的项目。

大多数文献中提出的的新颖性都是系统级别的新颖性。 有人提出了这样一种评估方法：将推荐列表中的新颖性计算为推荐列表中的项目与用户历史消费中的项目之间的类似性（𝐻𝑢），公式7即该度量标准。

另外一些人提出的新颖性则是计算用户的推荐列表中的项目的流行度的总和，公式8 即为这种方法。例如，能够经过消耗该项目的用户的数量来计算项目的流行度（𝑝𝑜𝑝）。此外，他们还提供了度量的变体，例如-𝑙𝑜𝑔2𝑝𝑜𝑝（𝑖）|𝑈| 。

3. 推荐列表级别的新颖性

第3级别涉及到推荐列表级别的新颖性，即不重复推荐的项目。从这个意义上讲，新颖性被定义为推荐列表中不包含用户信息的不重复的项目。说新颖性与用户未知的推荐列表中的非冗余项目有关。简而言之，级别3是级别2的极端状况，级别3甚至不容许推荐列表中出现冗余项目或重复推荐结果。

衡量新颖性第3级别仅须要调查推荐列表中的项目。新颖性第3级的指标不须要用户信息。从这个意义上讲，公式10可以计算推荐列表中项目的类似性，其中𝑑（𝑖，𝑗）表示项目𝑖和𝑗之间的距离。可是，该度量标准更像列表内类似性的度量标准，可能没法衡量新颖性。

此外，还有人提出了一个衡量推荐列表中新颖性的指标，见公式11。该度量考虑了项目在通过排序的推荐列表中的位置，用于计算浏览列表的折扣函数（𝑑𝑖𝑠𝑐（𝑖𝑘）。此外，度量还计算用户在浏览时看到项目（𝑝（𝑠𝑒𝑒𝑛|𝑖𝑘）的几率。因为该几率是指用户消费信息的不肯定性，所以该度量最好在新颖性的2级和3级之间进行分类。

多样性

多样性关注推荐列表中项目的丰富程度。对于多样性指标，本文中使用的符号是𝑑𝑖𝑣（𝑅𝑢）。

一些人认为，推荐系统的多样性具备相反的类似效应。做者指出，变化小的推荐列表用户可能不感兴趣。另外一些人认为，与用户的消费历史相比，推荐系统一般会预测相似的项目。所以，多样性意味着平衡推荐列表以涵盖用户的整个兴趣集。

与新颖性不一样，多样性的定义在文献中大多一致。你们广泛认为多样性表明推荐列表中的各类项目。

有关多样性的度量，你们都倾向于将多样性计算为推荐列表中的项之间的不类似性。一些人提出了一种用于列表内类似性的度量，如公式12所示。函数𝑑（𝑖，𝑗）计算推荐列表𝑅𝑢中项目𝑖和𝑗之间的距离。该指标实际上捕获了列表的类似性；所以，该度量标准的低值表示更类似的列表，其中项目彼此类似。

内部列表类似性度量也被其余多样性工做所使用。另外一些人把余弦类似度做为距离函数，该度量标准能够在公式13中看到。

还有人提出了另外的指标，如公式14所述。图14中的公式是针对列表内类似度的更具体的计算。该度量考虑了被分析的每对项目的位置的折扣函数（𝑑𝑖𝑠𝑐（𝑘）。此外，该度量还使用项之间的距离（𝑑（𝑖𝑘，𝑖𝑙），例如余弦类似距离。

相关阅读：

用于推荐系统评估的概念与指标

推荐系统的工做流程

白话推荐系统

想要了解推荐系统？看这里！（2）——神经网络方法

想要了解推荐系统？看这里！（1）——协同过滤与奇异值分解

AutoML如何实现智能推荐系统的自动上线和运维？

入门推荐系统，你不该该错过的知识清单

如欲了解更多，欢迎搜索并关注先荐微信公众号（ID：dsfsxj）。

本帐号为第四范式智能推荐产品先荐的官方帐号。帐号立足于计算机领域，特别是人工智能相关的前沿研究，旨在把更多与人工智能相关的知识分享给公众，从专业的角度促进公众对人工智能的理解；同时也但愿为人工智能相关人员提供一个讨论、交流、学习的开放平台，从而早日让每一个人都享受到人工智能创造的价值。