本文共 1858 字，大约阅读时间需要 6 分钟。
1，主成分分析
主成分分析（Principal Component Analysis，PCA）是一种无监督问题，是降维中最常用的一种手段，基于方差（方差最大的方向）提取最有价值的信息再进一步分类。降维后数据特征的意义发生变化。
2，向量的表示及基变换
2.1 内积：
设向量B的模为1，则A与B的内积值等于A向B所在直线投影的矢量长度： 
2.2 向量的线性组合
向量可以表示为(3,2)实际上表示线性组合：
其中(1,0)和(0,1)叫做二维空间中的一组基 
2.3 基变换 基是正交的（即内积为0，或直观说相互垂直，线性无关），更好的表达坐标轴上的数据。
变换：数据与一个基做内积运算，结果作为第一个新的坐标分量，然后与第二个基做内积运算，结果作为第二个新坐标的分量，比如： 
推广到多维： 
两个矩阵相乘的意义是将右边矩阵a中的每一列列向量ai变换到左边矩阵p中每一行行向量pi为基所表示的空间中去（尽可能去除线性相关性）。
2.4 协方差矩阵
方向：选择的这个方向（或者说基）应该尽量保留最多的原始信息，即一种直观的看法是：希望投影后的投影值尽可能分散。
方差（单个特征发散的程度）：
寻找一个一维基，使得所有数据变换为这个基上的坐标表示后，方差值最大（尽可能分散） 协方差（假设均值为0时（以0为中心化），两个特征之间的关系）：
3，优化目标
将一组N维向量降为K维（K大于0，小于N），目标是选择K个单位正交基，使原始数据变换到这组基上后，各字段两两间协方差为0，字段的方差则尽可能大。
协方差矩阵：
m代表数据的个数，x为数据本身，矩阵对角线上的两个元素分别是两个字段各自的方差，而其它元素是a和b的协方差
协方差矩阵对角化：即除对角线外的其它元素化为0（协方差为0），并且在对角线上将元素按大小从上到下排列（方差尽可能大）
一个n行n列的实对称矩阵一定可以找到n个单位正交特征向量： 
实对称阵可进行对角化： 
根据特征值的从大到小，将特征向量从上到下排列，则用前K行组成的矩阵乘以原始数据矩阵X，就得到了我们需要的降维后的数据矩阵Y 4，PCA实例
（1）原始数据共5个数据，每个数据有2个特征，并进行0中心化
（2）计算协方差矩阵，对角线为特征的方差，非对角线为特征的协方差（特征间的关系）： （3）进行矩阵分解求特征值和特征向量，找出对应特征值最大的特征向量，并对该向量进行归一化处理（基） （4）将基向量与原始数据作内积得到降维后的结果
5，线性判别分析 线性判别分析（Linear Discriminant Analysis，LDA）是由Ronald A. Fisher在1936年提出了线性判别方法，用于数据预处理中的降维，完成分类任务，LDA关心的是能够最大化类间区分度的坐标轴成分，即将特征空间（数据集中的多维样本）投影（找到更合适分类的空间k）到一个维度更小的 k 维子空间中，同时保持区分类别的信息。所以与PCA不同，LDA更关心分类而不是方差。
5.1 原理
LDA是“有监督”的，它计算的是另一类特定的方向，投影到维度更低的空间中，使得投影后的点，会形成按类别区分，一簇一簇的情况，相同类别的点，将会在投影后的空间中更接近方法
原始数据： 
找到合适的空间进行投影： 
变换数据（投影后的数据）： 
从上述来看，LDA分类的一个目标是使得不同类别之间的距离越远越好，同一类别之中的距离越近越好。 每类样例的均值：
投影后的均值：
但是只是最大化J(w)，并不能满足要求，如下图，X1的方向可以最大化J(w)，但是却分的不好 
散列值描述了样本点的密集程度，值越大，越分散，反之，越集中。同类之间应该越密集些： 
故目标函数为： 
散列矩阵： 
类内散布矩阵Sw = S1+S2： 
??称作类间散布矩阵，故最终目标函数： 
分母进行归一化，如果分子、分母是都可以取任意值的，那就会使得有无穷解，故将分母限制为长度为1 拉格朗日乘子法：
两边都乘以Sw的逆： 
转载地址：http://hahwi.baihongyu.com/