第二周学习笔记

一、熵以及熵函数 0.前言 为了发现组合关系，在这里引进熵以及熵函数的概念。 1.问题引入 （1）引题1 在上次课我们知道，具有组合关系的词汇往往是共同出现，那么问题来了：当“eat”出现的时候，什么词也会同时出现呢（包括左边和右边）？ （2）引题2 上面的这个来自上节课的问题其实可以一般化，即预测词W是否出现在这篇文本里，如下图所示： 下面哪个词更有可能出现呢？ 2.进入正题 要解决这个问题，首

>>阅读原文<<