sliding window："Marginalization"，"Schur complement"，"First estimate jacobin"

[1]知行合一2

SLAM中的marginalization 和 Schur complement

SLAM的Bundle Adjustment上，随着时间的推移，路标特征点(landmark)和相机的位姿pose愈来愈多，BA的计算量随着变量的增长而增长，即便BA的H矩阵是稀疏的，也吃不消。所以，咱们要限制优化变量的多少，不能只一味的增长待优化的变量到BA里，而应该去掉一些变量。那么如何丢变量就成了一个很重要的问题！好比有frame1,frame2,frame3 以及这些frame上的特征点pt1…ptn。新来了一个frame4，为了避免再增长BA时的变量，出如今脑海里的直接作法是把frame1以及相关特征点pt直接丢弃，只优化frame2,frame3,frame4及相应特征点。然而，这种作法好吗？

Gabe Sibley [2]在他们的论文中就明确的说明了这个问题。直接丢掉变量，就致使损失了信息，frame1可能能更多的约束相邻的frame，直接丢掉的方式就破坏了这些约束。在SLAM中，通常几率模型都是建模成高斯分布，如相机的位姿都是一个高斯分布，轨迹和特征点造成了一个多元高斯分布p(x1,x2,x3,pt1…)，而后图优化或者BA就从一个几率问题变成一个最小二乘问题。所以，从这个多元高斯分布中去掉一个变量的正确作法是把他从这个多元高斯分布中marginalize out.

这marginalize out具体该如何操做呢？Sliding widow Filter [2]中只是简单的一句应用Schur complement（舍尔补）. 咱们知道SLAM中的图优化和BA都是最小二乘问题，以下图所示(ref.[1])

构建出来的Hx=b是利用了marg变量的信息，也就是说咱们没有人为的丢弃约束，因此不会丢失信息，可是计算结果的时候，咱们只去更新了咱们但愿保留的那些变量的值。在slam的过程当中，BA不断地加入新的待优化的变量，并marg旧的变量，从而使得计算量维持在必定水平。

marginalize的本意是:只更新部分变量，而不是全部变量。

一句话总结以下：要把一部分变量从多元高斯分布从分离出来，须要把协方差矩阵也给分开，然而协方差矩阵你们都知道，众多变量之间息息相关，不能简单地说协方差矩阵的哪一块就是谁的，须要用到schur complement （舍尔补）来分割。

 

 

 [2]VINS-Mono代码分析总结

4.4 系统边缘化

4.4.1 边缘化的定义和目的

  边缘化(marginalization)的过程就是将滑窗内的某些较旧或者不知足要求的视觉帧剔除的过程，因此边缘化也被描述为将联合几率分布分解为边缘几率分布和条件几率分布的过程(说白了，就是利用shur补减小优化参数的过程)。

利用Sliding Window作优化的过程当中，边缘化的目的主要有两个：

• 滑窗内的pose和feature个数是有限的，在系统优化的过程当中，势必要不断将一些pose和feature移除滑窗。
• 若是当前帧图像和上一帧添加到滑窗的图像帧视差很小，则测量的协方差(重投影偏差)会很大，进而会恶化优化结果。LIFO致使了协方差的增大，而恶化优化结果。

直接进行边缘化而不加入先验条件的后果：

• 无端地移除这些pose和feature会丢弃帧间约束，会下降了优化器的精度，因此在移除pose和feature的时候须要将相关联的约束转变为一个先验的约束条件做为prior放到优化问题中。
• 在边缘化的过程当中，不加先验的边缘化会致使系统尺度的缺失(参考[6])，尤为是系统在进行退化运动时(如无人机的悬停和恒速运动)。通常来讲只有两个轴向的加速度不为0的时候，才能保证尺度可观，而退化运动对于无人机或者机器人来讲是不可避免的。因此在系统处于退化运动的时候，要加入先验信息保证尺度的客观性。

4.4.2 两种边缘化措施  

      这两种边缘化的措施主要仍是针对悬停和恒速运动等退化运动。

4.4.3 舒尔补边缘化优化状态量

4.4.5 滑窗优化(Slide window)

  按理说是不该该把滑窗当作一小节来说的，边缘化、舒尔补都属于滑窗的范围，但前面已经总结了。

并且正如贺一加师兄在其博客中提到的，滑窗的三大法宝"Marginalization"，"Schur complement"，"First estimate jacobin"，这些在前面也提到了。

关于这部份内容，能够参考这几篇博客，讲的真是太好了。okvis1，okvis2，知行合一1，知行合一2