NeurIPS 2019 | 适用于众多模型的Embedding正则化方法

©PaperWeekly 原创 · 作者|崔克楠 学校|上海交通大学博士生 研究方向|异构信息网络、推荐系统 本文为 NeurIPS 2019 的文章,提出了一种对 embedding 的参数进行的正则化技术。 在许多神经网络中,底层的 embedding 层的参数占据了网络中参数的大部分,例如基于 BERT 额模型中的 embedding 高维向量,例如 BERT-Base 中使用 768 维向
相关文章
相关标签/搜索