Kalman Filter与RLS的区别

1.估计准则

常用的估计准则包括：

1. 无偏估计：即假设状态的估计值与真实值的平均值相等。
2. 最小二乘估计：不考虑数据的统计特性，如期望，方差等，直接用最小二乘法得到最优估计。
3. 误差方差最小：在满足最小二乘估计的同时，使得估计的误差方差最小。这一约束可以通过一系列等价的推导获得，前提是要事先知道测量数据噪声的方差。
   简单来说就是，满足误差方差最小必满足误差平方和最小，反之不成立。而无偏估计是最基本假设。
   原文链接：https://blog.csdn.net/qinruiyan/article/details/50793114

2.古典最小二乘法（Ordinary Least Square, OLS）

这种方法使用估计值和真值的误差的平方和作为cost function，然后cost function对估计值求偏导就能得到估计值的无偏估计。比较简单，也比较好理解其中的最小二乘LS思想。

3.加权最小二乘估计(Weighted Least Square, WLS)

在古典最小二乘中，假设了每一次测量的权重相同，但事实上这样并不合理。假如一个估计值偏离真实值很远（或者是一个估计值不确定性很大），那么它对估计结果的影响就应该被削弱，反之影响应该加强。加权最小二乘就是做这样的事。

4.递推最小二乘估计(Recursive Least Square, RLS)

至此最小二乘估计所做的都是批处理（Batch），这样的方法需要耗费大量内存存储所有历史数据，并且计算量很大。而且这不符合动态系统状态估计的需要，每一次接受到新测量值的时候，需要整个模型重新计算，不能在线估计（Online）。做成递推形式后，能够降低对存储的要求，每次新数据进来后计算量都是相同的，不会逐渐升高。能够实现在线估计。

5.卡尔曼滤波（Kalman Filter, KF）

KF是LS的一种特殊情况。与递归最小二乘相似，卡尔曼滤波加入了系统内部变化的考虑。即利用process model对系统在下一时刻的状态进行预测。

6.Kalman Filter与RLS的区别

RLS实际上就是KF的update step，这一步都是使用测量来进行估计的。KF还多出一个prediction step，得益于KF必须要有space-state model的支撑，这一步KF能够不使用测量就预测状态。
以下图为例，深蓝实线为估计值，浅蓝点是测量值，红色虚线是误差边界。
(https://www.quora.com/How-does-a-Kalman-filter-differ-from-Recursive-Least-Squares)
RLS只能在有测量更新时进行估计更新，而KF在没有测量更新的时候实际上是可以用model来推演的。