检索结果聚类展望

摘要

检索结果聚类，能够有效地反映出特定Query下，检索结果内容的分布，能够清晰地描述出结果中的各个类别，对Query结果的展现方式亦再也不是传统1页若干条结果的流式输送，而是采用展示核心词或表明词的方式，简明扼要地从不一样维度提示核心信息，免去用户从新构造Query再搜索或在大量检索结果中寻找、定位所需内容的过程。

关键词：搜索引擎，搜索结果，聚类

 

咱们首先来看一个例子：对于Query“苹果”，在Google（www.google.com.hk）的检索结果第一页中，包含了如下若干内容：苹果公司的首页（繁简各1个）、苹果手机及相关产品（3个）、苹果公司的新闻（2个），其它苹果公司的相关网站（股票、企业档案、论坛等，4个）。11条结果中，都是与苹果（公司）紧密相关的内容，或者是苹果公司自己的一些信息（如股票、员工中毒等新闻），或者是苹果公司的相关新产品（Iphone、Ipad等），但不管从哪一个角度上描述，都没有能跳出苹果公司的范围。因为苹果公司的大量用户需求，使得苹果公司独占Google首页检索结果。

图1 Google中苹果检索结果分布

对于苹果这样一个有多重含义的Query，大多数用户的大多数需求均是对于苹果公司周边的需求，如苹果的产品、新闻等，对Google中苹果前20页结果进行了下简单的统计，如图1所示：（1）苹果公司的相关内容为130条，除第一页的内容外，还包含乔布斯、APP、越狱等，（2）苹果种植，17条结果包括了栽培、交易、市场行情等，（3）健康相关话题12条结果，包括了苹果养分价值、减肥等，（4）台湾苹果日报9条结果，（5）各式百科9条结果，（6）图片、视频应用4条结果，（7）其它有关教育、家居、基金等共19条结果。能够明显看出至少还有三类用户，分别是苹果栽培、苹果养生、台湾苹果日报的受众。但因为搜索引擎展示的问题致使这些需求被淹没了。

检索结果聚类则指望经过对检索结果的类聚，将相关内容聚合成一类，对每一类别提取出表明性标签，用于用户引导，达到区分不一样人群不一样需求的问题。能够认为在原有的流式结果基础上增长资源导航功能，引导用户更快速地定位本身的所需资源。相似于Google检索页面中的Search Tools，只不过生成的标签集是根据Query动态生成的，向用户展现资源引导，如图2所示（理想结果）

图2 “苹果”的理想聚类结果

但检索结果聚类能作的事远不止只这些，它可以呈现一个资源维度的立体层次结构。如图-3所示，这一体系充分揭示了检索结果中数据的分布状况，可以从不一样层面描绘每个可能的具体需求，如都是对苹果的需求，有的人关注的是Iphone、Ipad，有的人则更关注乔帮主，相信找越狱方法的也大有人在，而果农的需求及少数健康人士对苹果养分学的探索也可获得知足。

检索结果聚类在对用户引导方面有本身的优点。目前大多数用户引导是经过分析用户行为数据而得到的，这种方式可以充分反映用户的需求，即用户想要什么。但还有一个问题，就是网页中包含什么，用户的需求是否必定在网页中找获得恰当的或足够的内容进行知足。也就是说检索结果聚类是需求知足的过程，只有当用户的需求与资源中包含的内容相匹配时，用户才能得到满意的结果。

以韩寒为例，如图-4所示，用户需求可能为（百度某日“相关搜素”结果）博客，方舟子，微博，身高，马英九，老婆等，而资源中表现的数据为，博客，方舟子，微博，郭敬明，语录，代笔门等，从图中能够看出，用户需求与资源中都包含与韩寒紧密相关的博客、微博、方舟子，说明资源与需求可以良好地匹配；单从用户需求方面看，对于热点、隐私、八卦等内容更感兴趣，受突发事件影响较大，这也正反映出用户群体的猎奇、围观心理，而资源则更加稳定，从韩寒早期齐名的“郭敬明”到较新的“代笔门”均有所体现，相对于用户需求而言更强调与韩寒相关的数据资源有哪些，这些资源更加客观更加稳定。

以上内容一直有一个隐含假设，就是检索结果与用户Query具备相关性，针对每一Query的特定结果集进行聚类，可对Query自己起到消歧、扩展的做用，而从数据维度上与用户需求相关但却描述了资源维度的所具备的内容，于是可协助用户更快地定位有用数据，引导用户行为。

检索结果聚类目前应用的并很少，但资源维度的数据可以真实反映数据的分布，对弥补、验证需求维度的信息有益无害，对于即时检索信息的挖掘、临时知识体系的构建均有较大帮助。目前技术还不太成熟，在诸多领域还大有可为，欢迎你们发表意见共同探讨。

by hanzhonghua