机器学习-特征值,svd分解

 

求矩阵的秩

设 ，已知r(A)=2，则参数x，y分别是

 

解：任意三阶子式=0，有二阶子式≠0，可是这些子式比较多，可使用初等变换，由于初等变换不改变矩阵的秩，能够将矩阵经过初等行（列）变换，化为行阶梯矩阵，有几行不等于0，秩就是几。

行列式的转换

                              

• Am×nx=0只有零解 <=> r(A)=n
  • 　　特别地，A是n×n时，则Am×nx=0只有零解 <=> |A|≠0
• Am×nx=0有非零解 <=> r(A)<n
  • 　　特别地，A是n×n时，则Am×nx=0有非零解 <=> |A|=0
  • 　　若m<n（方程少未知数多），则Am×nx=0有非零解
• 若Am×nx=0有非零解 ，则其线性无关的解有n-r(A)个

• 若ξ1，ξ2，...，ξt 都是Ax=0的解，则k1ξ1+k2ξ2+...+ktξt还是Ax=0的解
• Ax=0的基础解系（可以用它的线性组合表示出该方程组的任意一组解）
• ①ξ1，ξ2，...，ξt 是Ax=0的解；
• ②ξ1，ξ2，...，ξt 线性无关；
• ③ξ1，ξ2，...，ξt 能够表示Ax=0的任一解。或者证实出①②后，再证出t=n-r(A)
• 则称ξ1，ξ2，...，ξt 是Ax=0的基础解系

 

 

 特征值和特征向量的求法：

 

 

 

特征值和特征向量的定义以下：

其中A是一个n×n的矩阵，x 是一个n维向量，则咱们说λ是矩阵A的一个特征值，而 x 是矩阵A的特征值λ所对应的特征向量。
若是咱们求出了矩阵A的n个特征值λ1≤λ2≤...≤λn,以及这n个特征值所对应的特征向量{w1,w2,...wn}，若是这n个特征向量线性无关，那么矩阵A就能够用下式的特征分解表示：

其中W是这n个特征向量所张成的n×n维矩阵，并对n个特征向量标准化，而Σ为这n个特征值为主对角线的n×n维矩阵。若A为实对称矩阵，另有

 

同时W的n个特征向量为标准正交基，注意到要进行特征分解，矩阵A必须为方阵。

相似于这样的分解：

奇异值分解

奇异值分解是一种矩阵因子分解方法，是线性代数概念，但在统计学习中被普遍使用，成为其重要工具。
应用：主成分分析、潜在语义分析
任意一个m×n的，均可以表示为三个矩阵的乘积（因子分解）形式，分别是m阶正交矩阵、由降序排列的非负对角线元素组成的m×n矩形对角矩阵和n阶正交矩阵，称为该矩阵的奇异值分解。
矩阵的奇异值分解必定存在，但不惟一。奇异值分解能够看作矩阵数据压缩的一种方法。

矩阵的奇异值分解是指，将一个非零的m×n实矩阵A，A∈Rm×n，表示为如下三个实矩阵乘积形式的运算，即进行矩阵的因子分解：

 

其中U是m阶正交矩阵，V是n阶正交矩阵，Σ是由降序排列的非负的对角元素组成的m×n矩形对角矩阵，知足：

UΣVT 称为矩阵A的奇异值分解，σi 称为矩阵A的奇异值，U的列向量称为左奇异向量，V的列向量称为右奇异向量。

注意奇异值分解不要求矩阵A是方阵

 奇异值分解实例

给定一个5×4的矩阵

 

它的奇异值分解由三个矩阵的乘积UΣVT 给出，矩阵U，Σ，VT 分别为

 

矩阵Σ是对角矩阵，对角线外的元素都是0，对角线上的元素非负，按降序排列。矩阵U和矩阵V是正交矩阵，它们与各自的转置矩阵相乘是单位矩阵，即

矩阵的奇异值分解不是惟一的。在此例中若是选择U为

而Σ和V不变，那么UΣVT 也是A的一个奇异值分解

SVD也是对矩阵进行分解，可是和特征分解不一样，SVD并不要求要分解的矩阵为方阵。假设咱们的矩阵A是一个m×n的矩阵，那么咱们定义矩阵A的SVD为：

其中U是一个m×m的矩阵，Σ是一个m×n的矩阵，除了主对角线上的元素之外全为0，主对角线上的每一个元素都称为奇异值，V是一个n×n的矩阵。下图能够很形象的看出上面SVD的定义：

 

下面是使用特征值分解实现的PCA算法：

# 将数据转换到上述K个特征向量构建的新空间中
import numpy as np def PCA(X, k): m_samples, n_features = X.shape # 减去平均数
    mean = np.array([np.mean(X[:, i]) for i in range(n_features)]) normX = X - mean # 计算协方差矩阵
    scatter_matrix = np.dot(np.transpose(normX), normX) # 计算协方差矩阵的特征值和特征向量
    eig_val, eig_vec = np.linalg.eig(scatter_matrix) # 将特征值和特征向量组成一个元组
    eig_pairs = [(np.abs(eig_val[i]), eig_vec[:, i]) for i in range(n_features)] # 将特征值和特征向量从大到小排序
    # 默认为升序,reverse = True降序
    eig_pairs.sort(reverse=True) # #保留最大的K个特征向量
    ft = [] for i in range(k): ft.append(list(eig_pairs[i][1])) data = np.dot(normX, np.array(ft).T) return data from sklearn.datasets import load_iris iris = load_iris() features = iris.data labels = iris.target features = PCA(features,k=2) import matplotlib.pyplot as plt plt.scatter(features[:,0],features[:,1],c=labels,cmap=plt.cm.RdYlBu) plt.show()

经过SVD实现PCA分解：

import numpy as np
# 实现PCA对鸢尾花数据进行降维

def PCA(data, k=2):
    data = data - np.mean(data)
    cov = np.cov(data.T)
    u, s, v = np.linalg.svd(cov)
    u_reduce = u[:, :k]  # 取前k个特征向量
    v_reduce = v[:k,:]
    # 这两种算法均可以对数据进行降维
    Z = np.dot(data,u_reduce)
    ZZ = np.dot(data,v_reduce.T)
    return Z
from sklearn.datasets import load_iris
iris = load_iris()
features = iris.data
labels = iris.target
print(features.shape)
features = PCA(features,k=2)
print(features.shape)
import matplotlib.pyplot as plt
plt.scatter(features[:,0],features[:,1],c=labels,cmap=plt.cm.RdYlBu)
plt.show()

 

原文出处：https://www.cnblogs.com/TimVerion/p/11237933.html