“噪声对比估计”杂谈：曲径通幽之妙

作者丨苏剑林 单位丨广州火焰信息科技有限公司 研究方向丨NLP，神经网络 个人主页丨kexue.fm 说到噪声对比估计，或者“负采样”，大家可能立马就想到了 Word2Vec。事实上，它的含义远不止于此，噪音对比估计（NCE, Noise Contrastive Estimation）是一个迂回但却异常精美的技巧，它使得我们在没法直接完成归一化因子（也叫配分函数）的计算时，就能够去估算出概率分布的

>>阅读原文<<