X.d 笔记

小Web,大世界

0%

数据挖掘笔记十二：降维

发表于

降维是属于无监督学习的一种。 通常用于数据计算中的化简，预处理和可视化分析。常见算法有PCA、NMF、LDA等等。

PCA降维算法

特征向量、协方差矩阵

如果一个矩阵满足这个公式 $A \vec{v} = \lambda \vec{v} $ ，其中，$A$ 是一个方阵，那么，就可以说 $\vec{v} $ 是这个矩阵的特征向量，$\lambda$ 则是这个矩阵的特征值 。

协方差可以用于解释两个属性之间的正向相关或负向相关性。 协方差距阵 是由变量的协方差值构成的一个距阵。

PCA原理

我们把一个矩阵的 协方差矩阵 对应的 特征向量 称为这个矩阵的 主成分，那么再按照其对应的 特征值，那么将矩阵的这些特征值求出，排序即可。

如果要使用 PCA 算法将一个 M维的数据集降到 N维，那么就是取这个矩阵的前 N 个特征向量，相乘，即可得到一个投影矩阵，具体的过程可以参考相关资料。

在Sklearn中使用

在 Sklearn 自带的鸢尾花数据集中，数据共有四个维度。

在人的视觉体系中，对超过3个维度的认识是很弱的，如果数据意识好的可以靠想象，但可以使用 PCA 算法做一个训练。 通过PCA算法，把四维的鸢尾花数据降低到三维。

import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
from sklearn import datasets
from sklearn.decomposition import PCA

# import some data to play with
iris = datasets.load_iris()
X = iris.data[:, :2]  # we only take the first two features.
Y = iris.target

x_min, x_max = X[:, 0].min() - .5, X[:, 0].max() + .5
y_min, y_max = X[:, 1].min() - .5, X[:, 1].max() + .5

plt.figure(2, figsize=(8, 6))
plt.clf()

# Plot the training points
plt.scatter(X[:, 0], X[:, 1], c=Y, cmap=plt.cm.Paired)
plt.xlabel('Sepal length')
plt.ylabel('Sepal width')

plt.xlim(x_min, x_max)
plt.ylim(y_min, y_max)
plt.xticks(())
plt.yticks(())


fig = plt.figure(1, figsize=(8, 6))
ax = Axes3D(fig, elev=-150, azim=110)
## 使用 PCA 算法进行降维
X_reduced = PCA(n_components=3).fit_transform(iris.data)

ax.scatter(X_reduced[:, 0], X_reduced[:, 1], X_reduced[:, 2], c=Y,
           cmap=plt.cm.Paired)
ax.set_title("First three PCA directions")
ax.set_xlabel("1st eigenvector")
ax.w_xaxis.set_ticklabels([])
ax.set_ylabel("2nd eigenvector")
ax.w_yaxis.set_ticklabels([])
ax.set_zlabel("3rd eigenvector")
ax.w_zaxis.set_ticklabels([])

plt.show()

通过变量工具可以看到降到三维的数据是这样的

PCA

但实际上，少了一维的数据并不影响我们的分析。我们可以看到投影到三维空间的结果还是不错的。

PCA