神经网络如何学习分布式的表示

分布式表示的概念是深度学习的核心，特别是在它用于自然语言任务时。那些刚刚进入这个领域的人可能会很快将它简单理解为代表某些数据的矢量。虽然这是事实，但在更概念化的层面上去理解分布式表示会增强我们对深度学习的有效性的理解。 为了研究不同类型的表示方式，我们可以做一个简单的思考练习。假设我们有一大堆“内存单元”来存储有关形状的信息。我们可以选择用单个存储单元来表示每个单独的形状，如图1所示。 图1. 稀

>>阅读原文<<