Beam-search

Beam search搜索策略是贪心策略和穷举策略的一个折中方案，它在预测的每一步，都保留Top-k高概率的词，作为下一个时间步的输入。k称为beam size，k越大，得到更好结果的可能性更大，但计算消耗也越大。请注意，这里的Top-k高概率不仅仅指当前时刻的ytyt的最高概率，而是截止目前这条路径上的累计概率之和，如下图的公式所示。举例如下，假设k=2k=2，第一个时间步保留Top-2的词为"

>>阅读原文<<