深度学习之Seq_seq网络

知识点网络

"""
机器翻译:
    历史:
        一、逐字翻译
        二、基于统计学的机器翻译
        三、循环网络和编码
翻译过程: 输入 -- > encoder -->向量  --> decoder -->output
                    (RNN)               (RNN)
seq_seq应用:文本摘要、聊天机器人、机器翻译
seq_seq存在的问题:
    一、压缩损失的信息
    二、长度限制(通常10-20最好)
解决方法:
    Attention机制:高分辨率聚焦再图片的某个特定区域,并以低分辨率感知图像的周围区域的模式
    具体表现为:对encoder层进行加权

    Bucket机制:正常状况要对全部句子进行补全

基础Seq_seq主要包含三个部分:
    一、encoder
    二、隐层状态向量(链接encoder和decoder)
    三、decoder
"""

哎!,仍是多看别人博客理解吧编码

相关文章
相关标签/搜索