信息检索的知识点的整理

时间 2019-12-06

标签信息检索知识整理栏目搜索引擎繁體版

原文原文链接

document：至关于数据块里的一条记录数据库

field: 至关于数据库里的一列函数

term: 指某个field的词，英文单词通常会转词的原型spa

tf：term在field内的词频率函数索引

df：term在全文档集合内的频率函数内存

idf：term在全文档集合内的逆向频率函数（通常取反再取log）ci

position info：倒排信息，通常含docid，tf和term在对应field出现的位置，索引存储最占空间的一部分文档

query原型

布尔查询hash

词典：存term的结构，磁盘内通常用排好序的多级跳转表，或者b+树，内存里实现用hash，红黑树或者字典树it

正向关系：文档——》包含的全部term

反向关系：term——》包含该term的全部文档

topN：指最符合搜索条件的前N条结果，能够用堆结构获取最高的N条。

查全率

查准率

F测度

索引分割的好处

词典的压缩

倒排表的压缩

倒排表的合并策略

Lucene的索引合并

BM25相关度打分

VSM相关度打分

词项邻近度打分

未完待续。。。