费希尔判别法理论.docx

费希尔判别
费希尔判别（或称典型判别）的基本思想是投影（或降维）：用维向量的少数几个线性组合（称为费希尔判别函数或典型变量）（一般明显小于）来代替原始的个变量，以达到降维的目的，并根据这个判别函数对样品的归属做出判别或将各组分离。成功的降维将使样品的归类或组的分离更为方便和有效，并且可以对前三个判别函数作图，从直观的几何图像上区别各组。
在降维的过程中难免会有部分有用信息的损失，但只要使用的方法得当，我们可以最大限度地减少这种损失，从而保留尽可能多的有用信息，即关于能够反应组之间差异的信息。为便于理解，我们以下用一个简单的二维例子来加以说明。

图投影到某个方向再判别
如图所示，两个组的所有样品都测量了两个变量和，将所有（）点画于直角坐标系上，一组的样品点用“×”表示，另一组的样品点用“○”表示。假定我们希望将二维空间的点投影到某个一维空间，即一条直线上，然后再对两组进行判别，则投影到不同的直线上，判别的效果一般是不同的。从图中可见，如果两组的点都投影到直线上则这两组的投影点在该直线上的分布几乎无任何差异，他们完全混合在一起，我们无法将这两组的点区别开来，这样的降维把反应两组间差异的信息都给损失了，显然是不可取的。事实上，最好的投影是投影到直线上，因为它把两组的投影点很清楚地区分了开来，这种降维把有关两组差异的信息很好地保留了下来，几乎没有任何损失，如此就完全可以在一维的直线上作判别分析。
我们现考虑在中将组的维数据向量投影到某个具有最佳方向的上，即投影到上的点能最大限度地显现出各组之间的差异。
设来自组的维观测值为，，，将它们共同投影到某一维常数向量上，得到的投影点可分别对应线性组合，，。这样，所有的维观测值就简化为一维观测值。下面我们用表示组中的均值，表示所有组组的的总均值，即

式中，，。
对于任一用来投影的，我们需要给出一个能反映组之间分离程度的度量。比较图中的上、下半图，上半图三组均值之间的差异程度与下半图是相同的，而前者组之间的分离程度却明显高于后者，原因就在于前者的组内变差要远小于后者，后者组之间有较多重叠。因此，可以考虑将组之间的分离程度度量为相对其组内变差的组间变差。在以下的讨论中，我们需假定各组的协方差矩阵相同，即。

图三组之间的分离程度
的组间平方和

式中为组间平方和及叉积和矩阵。的组内平方和

式中为组内平方和及叉积和矩阵。
可用来度量的组之间分离程度的一个量是

我们应选择这样的，使得达到最大。由于对任意非零常数，用代替上式中的，将保持不变，故考虑对加以约束。我们希望判别函数具有单位方差，即，但因未知，于是用其联合无偏估计替代，所以的约束条件实际应为，即判别函数的联合样本方差为1。
设的全部非零特征值依次为，这里，且有
（）
（通常情况下上式等号成立），相应的特征向量依次记为（标准化为，）。由（）式知，当时达到最大值。所以，选择投影到上能使各组的投影点最大限度地分离，称为费希尔第一线性判别函数，简称第一判别函数。在许多情况下（如组数是大的，或者原始的数据向量维数是大的），仅仅使用第一判别函数也许不够，因为仅在这一个投影方向上组之间的差异可能还不够清晰，各组未能很好地分开。这时，我们应考虑建立第二线性组合，为使降维最具效率，应要求（在线性关系的意义上）不重复中的信息，即

用代替未知的，于是我们在约束条件

下寻找，使得达到最大。按（）式，当时达到最大值，称为第二判别函数。如还不够，可再建立第三判别函数，依次类推。一般地，我们要求第个线性组合不重复前个判别函数中的信息，即
，
用代替，上式变为
，
我们希望在约束条件（）下寻找，使得达到最大。由（）式知，当时达到最大值，称为第判别函数，。

附：
设是阶对称矩阵，是阶正定矩阵，是的个特征值，相应的一组特征向量，满足，，则
（ⅰ）

（ⅱ）
，
综上所述，费希尔判别函数具有这样一些特点：（1）各判别函数都具有单位（联合样本）方差；（2）各判别函数彼此之间不相关（确切地说，是彼此之间的联合样本协方差为零）；（3）判别函数方向并不正交，但作图时仍将它们画成直角坐标系，虽有些变形，但通常并不严重。
依（）式可知，组数时只有一个判别函数，时最多只有两个判别函数。这从直观上也不难理解，（不重合的）两个组重心（即组均值点）可在（一维）直线上有最大分离，（不在一直线上的）三个组重心也可在（二维）平面上有最大分开。一般地，由全部维空间可最大限度地分离个组重心。
表明了第判别函数对分离各组的贡献大小，在所有个判别函数中的贡献率为

而前个判别函数的累计贡献率为

它表明了能代表进行判别的能力。在实际应用中，通常我们并不使用所有个判别函数，除非很小，因为费希尔判别法的基本思想就是要降维。如果前个判别函数的累计贡献率已达到了一个较高的比例（如75%~