为何点积等价于投影后的乘积？

摘自《Essence of linear algebra》系列视频，很是精彩。B站上有全集～

Dot Product

咱们都知道，向量的点积是这么作的：

其几何解释为投影相乘：

经过投影，咱们能够理解为何点积为0（正交），为何点积能够为负。

点积还具备symmetry。
假设u和v点积，对称性即：不管是v在u上做投影再乘，仍是u在v上做投影再乘，结果都是同样的。
这一点不太好理解，但又相当重要。咱们下面来解释一下：

假设u比v的范数大。咱们在u的方向上取w，使得w的范数等于v的范数：

做一条对称轴，显然w和v必定知足对称性。这很是直观！
既然如此，那么结果和u、v点积，不过是相差常数倍，即（u的范数除以v的范数）。

反过来，咱们也能够先把v拉长至w，使得w和u的范数相同。最后结果再补上常数倍（v的范数除以u的范数）。
对称性得证。

Linear Transformations from Multiple Dimensions to One Dimension

首先咱们来看线性变换的苛刻条件。以二维到一维为例。

咱们都知道，线性性包含齐次性和叠加性。但这不直观，不利于咱们接下来的讨论。
对线性变换直观的认识是：若是在二维空间中有一系列等距分布于同一直线上的点：

那么线性变换以后，这些点在数轴上还是等距分布的：

这相似于咱们知道的：直线通过线性变换之后还是直线。

和前几节课的理解同样，线性变换能够由一个矩阵表示。
矩阵的列向量，表征基向量变换后的位置。

不一样的是，咱们如今介绍的是降维变换（2D→1D）：
本来二维空间的基向量是[1,0],[0,1]:

如今变成了数轴上的两个点，也就是两个数（动画更直观，推荐看视频）：

所以咱们彻底能够认为：向量[2,1]表征一个从二维到一维的线性变换。

如今咱们来看[1,-2]与[4,3]点积的效果分析：

• 基向量[1,0],[0,1]分别与[1,-2]点积，获得结果[1,-2]；
• 1和-2分别乘以4和3，即获得图中黄色箭头！-2就是最终结果。

从数值上看，这就是点积！

Why Projection

如今，咱们解释为何点积能够用投影后的乘积来解释。

假设咱们要求向量u1和v1的点积。

咱们直接把u1向量方向上的单位向量u做为变换矩阵。
上一节已经说明，一个二维向量u实际上就表明了一个二维到一维数轴的映射：

如图，全部二维空间上的点都会落在数轴上，而且一个输入对应一个输出，确实是函数。
最重要的是，这种映射是线性的：等距点投影在数轴上还是等距的。

所以，u向量的两个元素，就表明两条基向量落在该数轴上的两个位置（数）:

实际上，这条数轴就位于该向量所在的直线上（有点投影的意思了）。
如今咱们想求，基向量在这条数轴上的投影。

由对称性，咱们会发现，ux正好就是基向量[1,0]在该向量上的投影。uy同理！

捋一捋思路（u1和v做点积）：

1. 先获得单位向量u=[ux,uy]，做出共线数轴；
2. 由对称性，ux就是[1,0]在数轴上的投影，uy就是[0,1]在数轴上的投影；
3. 能够证实，二维平面上的点投影到该数轴上，是一个线性变换；
4. 既然基向量变换后的数值已经求出来了，那么[ux,uy]就表明了一个降维线性变换矩阵；
5. 由线性变换的性质，最终结果为ux和uy向量加权vx和vy后的向量合成结果；
6. u1和u相差u1的范数倍，乘上就是最终结果。

以上：

• u1到u，u与v相乘，再乘以u1的范数，就是点积的数值过程。
• 整个变换就是一个投影过程，最后乘以u1的范数，综合起来就是投影+乘法的几何解释。

这样，咱们就成功解释了：为何两个向量做点积，本质上就是求投影再相乘。