Neural Transducer, MoCha模型总结

Neural Transducer, MoCha笔记 首先,先来看看什么是Neural Transducer。 如上图所示,我们可以发现Neural Transducer其实就是在输出时加了一个attention。 我们可以把n个h来作为一个window,然后利用attention来进行输出处理。 根据上图也会对实际window的大小选择起到指导作用。 接下来,我们来看看什么是MoCha: 如上图
相关文章
相关标签/搜索