特征选择之互信息

对于事件A和事件B同时出现的，一种信息论的描述方法就是互信息，计算方式以下spa 其意义：因为事件A发生与事件B发生相关联而提供的信息量。blog     在处理分类问题提取特征的时候就能够用互信息来衡量某个特征和特定类别的相关性，若是信息量越大，那么特征和这个类别的相关性越大。反之也是成立的。排序     以搜狗实验室的语料为例。选取金融，IT产品，体育，娱乐，股票这五个类别，经过互信息来选取词

>>阅读原文<<