关于MAML的那些事

多余的元学习废话也不多说,直接上干货: 算法: 关于学习率: 两个学习率a、b,要知道,为了一步优化探测task最优参数的位置(inner loop),我们必须使用稍微大点的学习率a,这叫一步到位。 而优化你真正模型参数的学习率应该是很小的(outer loop),因为他必须在参数空间中经过漫长的迭代,慢慢找到最合适的位置。 关于损失函数:分类交叉熵,回归MSE 关于1阶和2阶的MAML: 首先,
相关文章
相关标签/搜索