数据分析与数据挖掘 - 06线性代数

一 导数的意义

导数是高等数学中很是重要的知识点，也是人工智能的算法应用中比较经常使用的一个知识，本节课咱们的重点就是学习一下导数和其求导法则。首先咱们来看一下导数的基本概念:函数的变化率，即函数的变化速度，叫作函数的导数。


设函数y = f(x) 在函数x0的某邻域内有定义，当x在点x0有增量∆x（x0+∆x仍在该邻域内）。这时y=f(x)有增量∆y=f(x0+∆x)-f(x0)，当∆x无限趋近于零时，∆y/∆x存在，则这个极限值就叫作函数y=f(x)在点x0处的导数，公式以下：

导数的公式除了以上的写法，还能够写做下边的这种方式：
此时，咱们称函数f(x)在x0处可导，固然咱们也可使用导数的几何意义-斜率来理解，以下图所示：

咱们能够把导数理解为函数在几何曲线中某一点处切线的斜率，在这基础上加一个拓展，也很好理解。函数可导必定连续，但连续不必定可导。若是你感兴趣，能够证实一下这个过程，但咱们如今记住这个定理就能够。

二 导数的求导法则

1 加减运算的求导法则

若函数u = u(x) 和 v = v(x) 在点x处可导，则函数 y = u+v 在点x处也必可导，而且 (u + v)' = u' + v'，其证实过程以下：

2 函数积的求导法则

若函数u = u(x) 和 v = v(x) 在点x处可导，则函数 y = uv 在点x处也必可导，而且 (uv)' = u'v + v'u，其证实过程也是相似的，这里咱们再也不花费篇幅论证了，有兴趣的同窗能够本身验证一下。

3 函数商的求导法则

若函数u = u(x) 和 v = v(x) 在点x处可导，而且v(x)在点x处不为0，则函数 y = u/v 在点x处也必可导，而且 (u/v)' = （u'v - v'u)/v^2，其证实过程也是相似的，这里咱们再也不花费篇幅论证了，有兴趣的同窗能够本身验证一下。

4 导数常见的公式

学习导数时，有一些基本公式须要咱们记住的，虽然咱们能够推导出其过程，可是这一些公式就至关于定理同样，记住就好，这样就不用每一次都本身去推导了。


下面是一些常见的公式：

5 复合函数的求导法则

若函数u = k(x) 在点x处可导，y=f(u) 在点u处可导，则复合函数 f = [k(x)] 在点x处也必可导，而且 f(x)' = y_u'*u_x'，其证实过程稍微你有点麻烦，具体过程以下：

多说一句，虽然咱们能够经过Numpy及SciPy这样的科学计算库轻松实现导数计算，而且也能够轻松的实现矩阵、微分、积分等运算，但只有咱们掌握其推导过程，才可以真正明白将来要学习的那些算法真正的意义。

三 矩阵乘法运算

像下图中，将数列排成m行n列后，而后用括号将它们围起来，咱们将这种形式的组合叫作矩阵。

咱们将其中的m和n分别叫作行标和列标，由m行和n列数排成的矩阵又称做mn矩阵或m行n列矩阵，就像下边这样。

咱们把其中的数字叫作元素，好比有一个矩阵是[1,2]，那么元素就是1和2，当行数和列数相等时，咱们把这样的矩阵称之为"n阶方阵"。

这个时候咱们把对角线上的元素叫作对角元素。矩阵的出现，简化了方程组的书写方式，好比像下图中的简写方式：

下面让咱们来看一下如何进行矩阵运算吧，首先咱们来看一下矩阵的"和"运算，矩阵的"和"运算就是其对应位置相加的运算，以下图所示：

矩阵的减法也很简单，就是把上边的加号变成减号，咱们下边看一下矩阵的倍数运算吧。

倍数运算也是一种特殊的矩阵的"积"运算，如今咱们来学习一下矩阵的"积"运算吧。





另外有一点须要注意，两个矩阵相乘，若是交换位置，那么结果是不同，咱们举一个例子来展现一下：





显然，矩阵的积运算交换位置以后的结果是不一样的。


如今咱们考虑一个问题，这个问题就是两个符合什么形状的矩阵才可以进行相乘的运算？这个问题的答案是只有左边矩阵的列数等于右边矩阵的行数时，两个矩阵才可以进行乘法运算，也就是必需要是mn的矩阵与n*p的矩阵来作运算，由于运算的时候是第一个矩阵的列数与第二个矩阵的行数来作运算的。


接下来咱们再来一块儿认识一下一些特殊的矩阵。


零矩阵：全部的元素都为0的矩阵。

转置矩阵：把行和列对应的位置交换

对称矩阵：以对角元素为对称轴对称的n阶方阵。对称矩阵的转置矩阵和本身彻底相同。

上三角矩阵：在矩阵左下角都是0的n阶方阵。

下三角矩阵：在矩阵右上角都是0的n阶方阵。

对角矩阵：对角元素之外的元素都是0的n阶方阵。对角矩阵的n次方结果是对角元素的n次方的对角矩阵。

单位矩阵：对角元素都是1，其余元素都是0的n阶方阵。任何矩阵乘以单位矩阵结果都是原来的矩阵。

四 逆矩阵

逆矩阵运算比以前的运算要复杂一点，咱们先来经过一个例子看一下什么是逆矩阵。

下面来看一下逆矩阵的求解方法及确认是否存在逆矩阵的方法，求逆矩阵的方法有代数余子式法和消元法，利用代数余子式的方法来计算逆矩阵很是麻烦，用的也比较少。而与之相比，消元法就简单的多啦，因此咱们主要来学习一下消元法。


消元法和解方程是很是相似的，若是矩阵是为了书写方便，那么方程则是为了计算方便。

上面的式子是一个二元一次方程组，但同时它也是一个矩阵。





下面咱们来作一个小练习，求一下下面这个2阶方阵的逆矩阵。

咱们先把问题整理成矩阵的形式：





再把它转化成方程组：





显然这个方程组，咱们能够很容易的求出x1 = 0.4，y1 = -0.2，x2 = -0.2，y2 = -0.6。


逆矩阵其实还能够有下边这种表达方式：

其实关于二阶方阵的逆矩阵，还存在着这样一个公式：

注意：这个公式只适用于2阶方阵，当3阶以上的方阵时，最好咱们仍是使用消元法。最后补充一句，咱们把存在逆矩阵的n阶方阵叫作可逆矩阵。关于矩阵的知识点还有行列式以及多阶方阵的逆矩阵求法，当咱们讲到算法模型时，有须要的时候咱们再进行更多的讲解。