随机数学模型.ppt

随机数学模型3.1多元回归与最优逐步回归
3.2主成份分析与相关分析
3.3判别分析
3.4聚类分析
3.5模糊聚类分析
3.6马尔可夫链及其应用
3.7存贮论
3.8排队论模型
3.9层次分析法建模§3.1多元回归与最优逐步回归一、数学模型为简化问题，不妨设该系统为单目标系统，且由函数关系，可以设：

(1.2)
可得如下线性模型

(1.3)

为测量误差，相互独立，。

令可得（1.4） (1.4)称为线性回归方程的数学模型。利用最小二乘估计或极大似然估计，令使，由方程组 (1.5)可得系数的估计。令方阵可逆，由模型可得：即有 (1.6)可以证明(1.6)与(1.5)是同解方程组的解，它是最优线性无偏估量，满足很多良好的性质，另文补讲。二、模型的分析与检验三、回归方程系数的显著性检验.四、回归方程进行预测预报和控制五、最优逐步回归分析此时仍可得

是回归估计值

回归方程为

(1.13)
分别是的系数
估计。为了减少误差积累与放大，进行数据中心化标
准化处理：称为系数相关矩阵

由此可得经验回归方程：

(1.16)
然后以变换关系式代入可得
将(17)式与(13)式进行比较，可得：

(1.18)

只要算得(16)式的即可。注意到

其中是对于因子的偏回归平方和，可以证明线性方程中对变量的多元线性回归方程中的偏回归平方和为（是原方程中的偏回归平方和）：
把系数矩阵R变成加边矩阵，记为

比较,设,则相应变量作用最大，但是否显著大，要进行显著性检验，可以证得
当时，可将变量引入方程中去。
现将这个循环步骤介绍如下：
第一步：挑选第一个因子
对计算的偏回归和

找出决定
F检验

当时引入，一般总可以引入的。第二步：挑选第二个因子
首先变换加边矩阵

则，

因子的偏回归平方和

记

决定可否引入步骤： 1.对，计算的偏回归平方
和。
2.找出中最大的一个，记为。
3.对作显著性检验：

当时，要

引入。第三步：当引入时，是否要剔除呢？
即已有方程：

检验的偏回归平方和：
当

时因子不剔除。同样的方法以

时因子不剔除。
第四步：重复进行第二步到第三步。一直到没有可引入的新因子，也没有可剔除的因子。
最后方程为：

(1.19)
并把(1.19)式换算成类似的(1.13)式。§3.2主成份分析与相关分析
这是一个将多个指标化为几个少数指标进行统计分析的问题，设有维总体有个随机指标构成一个维随机向量，它的一个实现
为；而且这个指标之间往
往相互有影响，是否可以将它们综合成少数几个指标，使它们尽可能充分反映原
来的个指标。
例如加工上衣，有袖长、身长、胸围、肩宽、领围、袖口、袖深，……等指标，是否可以找出主要几个指标，加工出来就可以了呢？例如主要以衣长、胸宽、型号(肥瘦)这样三个特征。设为维随机向量，为
期望向量,为协方差矩阵，其中

设将综合成很少几个综合性指标，
如，不妨设
则有

要使尽可能反映原来的指标的作用，则要使尽可能大，可以利用乘子法:要对a加以限制
否则加大,增大无意义。令

设

并使可得方程组(2.1)的解为
(2.2)
以左乘(2.2)之两边，得

即
由(2.2)式可得

(2.3)
要使满足(2.3)的a非零，应有
即入是的特征根，设是的
个特征根，只要取，
再由，求出V的属于的特征向量，
在条件是唯一的维特征向量。于是得
(2.4) 二、主成份分析在实际应用中，V阵往往是未知的，需要用V的估计值来代替，设有组观测值

则取(2.5)

(2.6)

其中是的子样方差，的子样协方差。需要求出的特征值。由于不同的度量会产生量纲问题，一般建议作如下变换：

用标准变量代替以
前的，即可以运算。此时的协方差矩阵即相关矩阵

从R出发，可求主成份。三、主成份的贡献率由于,
则令

表明方差在全部方差中所占的比重，称是第i个主成份的贡献率，显然有,不妨取一个阈值为d(0＜d＜1)，当时，即舍去，此时可取
为主成份。以贡献率来决定它的个数。一、数学模型一、数学模型注意到每个子样都是三维向量。现有一个新的精神病患者前来就医，测得三个指标：由于数据的量纲不同，不采用欧氏距离,用马氏距离有：
定义1：设X,Y是从总体G中抽取的样品,G服从P维正态分布，,定义X,Y两点间的距离为马氏距离：(二)距离判别法
设有两个协方差相同的正态总体，且记二、关于计算中应注意的问题得到三、关于误判率及多个总体的判别当§3.4聚类分析一、数学模型2.数据正规化处理3.相似系数法4.最短距