概率密度估计及近邻法PPT.ppt

第三章概率密度函数估计及近邻法EstimationofProbabilityDensityFunctionandTheNearestNeighborRule§1引言
§2总体分布的参数估计
极大似然估计
贝叶斯估计参数
§3总体分布的非参数估计
Parzen窗法
kN近邻法
§4近邻法则§1引言2.非监督参数估计
未知样本类别wi，已知概率密度函数p(x|wi)的形式，但参数未知，需从样本x估计参数。
上述两种均可用极(最)大似然法和Bayes估计法来估计参数。
3.非参数估计－即估计p(x|wi)形式
已知样本类别，但未知概率密度函数的形式，要从样本推断p(x|wi)属于哪种分布。
可用Parzen窗法和kN近邻法。
4.近邻法则－不属于估计内容
直接利用样本设计分类器。非参数(即分类中不需要估计概率密度函数)方法之一。5.参数估计的几个基本术语
⑴统计量：每个训练样本都包含总体信息。根据从总体中抽取的样本集构造某种函数,该函数统计学中称为统计量。
⑵参数空间：概率密度形式已知，参数q未知,q可取值的集合称为参数空间，记为Θ。
⑶点估计、估计量和估计值：构造一个统计量f(x1,···,xn)作为参数q的估计量。如果x1,···,xn属于某类，代入统计量f，就可得到该类具体的估计值。本章参数估计属于点估计。
⑷区间估计－要求用区间(d1,d2)作为q可能取值范围的一种估计。该区间称为置信区间。§2总体分布的参数估计设某类有N个样本组成了样本集x＝{x1,x2,···,xN}样本是独立从该类抽取的，因此N个随机变量的联合概率密度

统计学中称p(x|q)为相对于样本集x的q的似然函数l(q)

似然函数l(q)给出了从总体中抽取的x1,x2,···,xN这N个样本的概率。
极大似然估计值定义：
令l(q)为样本集x的似然函数，在Θ的参数空间中能使l(q)极大化的那个值。极大似然法的主要思想：如果在一次观察中一个事件出现了，则这个事件出现的可能性最大。事件x＝{x1,x2,…xN}在一次观察中(即从总体中抽取N个样本)出现了，就可认为p(x|q)达到极大值，即在参数空间中使似然函数极大化的值。
一个简单的例子：假设似然函数p(x|q)对未知参数q是连续可微的，则可由典型的求极值的方法求得。
求极大值的必要条件
单个q的情况下：

若q是向量，有s个分量q=[q1,···,qs]T，则多变量的梯度算子

对数似然函数H(q)是单调的增函数，为计算方便，一般用对数似然函数。

⑵正态分布的极大似然估计②一维正态情况，两个参数均未知，设q1＝m，q2＝s2,q＝[q1,q2]T。

③多维正态密度的情况。
计算方法和形式完全类似，只是复杂些，计算结果：

均值向量的极大似然估计是样本的均值，而协方差的极大似然估计是N个矩阵的算术平均。这是一致估计。
协方差矩阵的无偏估计为2.Bayes估计和Bayes学习贝叶斯估计和最小风险贝叶斯决策可统一：
Bayes估计：有一个样本集x，用来估计所属总体分布的某个参数，使带来的贝叶斯风险最小。
Bayes估计最小风险

R为给定条件下某个估计量的期望损失，常称为条件风险。使条件风险最小的估计量q，也就是贝叶斯估计。
经推导(P.52定理3.1)使用平方误差损失函数时，得到估计量为条件期望：Bayes参数估计步骤：
①确定q的先验概率密度函数p(q)；
②由样本集x={x1,x2,…,xN}计算样本的联合分布，它是q的函数；
③用Bayes公式求后验分布p(q|x)

④求样本的估计量q⑵正态分布情况的Bayes估计举例
①样本为一维正态分布p(x|m)～N(m,s2)，m未知
②m是随机的，其先验概密p(m)～N(m0,s02)
③N个样本构成样本集x={x1,x2,…xN}
求m的估计量
解：

用Bayes公式求m的后验分布：根据上述假设：

代入计算后验概密p(μ|x)

p(μ|x)是μ的二次函数的指数函数，仍是正态密度,写成

⑶Bayes学习－求概率密度函数p(x|X)
从联合密度求条件概密函数

X由N个样本组成，X={x1,···,xN}
用Bayes公式计算q的后验分布p(q|X)，

根据独立性

其中XN={x1,···,xN－1,xN}，XN－1={x1,···,xN－1}已知q的先验概密p(q|X0)=p(q)，根据样本序列{x1,…xN}按下式反复计算，得到概率密度的序列p(q),p(q|x1),p(q|x1,x2),···，同时修改q，如果这个密度序列在估计值附近产生一个陡峰,即d函数,这种性质称为Bayes学习。

Bayes学习步骤：
前三步同Bayes估计。下面的步骤
①读入第一个样本x1，计算