销售人员述职报告-2.doc

第页共NUMPAGES9页
销售人员述职报告

BP神经网络介绍
BP是当前应用最广泛的一种人工神经网络。结构简单,工作状态稳定,易于
硬件实现。BP神经网络全称为:Back-Propagation网络,是一种反向传递并修正
误差的多层映射网,它通常由输入层,中间隐含层,输出层三层神经元组成,它一
般可用LMS法则实现误差后向传播学习方法。BP网络采用有导师学习,通过组织
一批正确的输入输出数据时,将输入数据加到网络输入端,把网络的实际相应输
出和正确的(期望的)输出项比较得到误差,然后根据误差的情况修改各连接权,
是网络朝着能正确响应的方向不断变化下去,直到实际响应的输出与期望的输出
之差在允许的范围内。
BP算法是典型的监督学习,当给定一个学习样本之后,输入模式由输入层传至隐含层,经隐含层逐层处理后在传到输出层,由输出层处理后产生网络输出模
式,这个过程是前向传播。如果网络输出与期望输出的误差不满足要求,则将误差
值沿连接通路反向逐层传递,并修正个连接权值和节点阀值以使网络误差达到最
小,这个过程是误差反向传播。对于给定的一组学习样本,需要不断用每个样本训
练网络直到网络误差满足要求。
假设各层分别有kN个节点,训练集包括M个样本,
(,)
pp
_y,p1,2,3,..,M
1
1
M
p
p
err
M
E
(1)
21
2
(?)
pp
E
p
j
yy
(2)
利用梯度最速下降法,使权值沿误差函数的负梯度方向改变.
(1)()
p
jiji
ji
it
E
WW
W
(3)
由
ppp
pjpj
jipjji
EEnet
O
WnetW
(4)
其中
p
ji
E
W
表示第p个样本误差函数对第j个神经元至下层第i个神经元的
偏导。
ppp
pj
pjpjpj
EEO
netOnet
(5)
'
()
p
pj
pj
net
O
f
net
(6)
对输出层节点,有
()
p
pjpj
pj
Oy
E
O
(7)
'
()()
pjpjpjpj
fnetOy
(8)
1
()
(1)
_
f_
e
(9)
''
''
22
1(1)(1)(1)
()()
(1)(1)(1)(1)
____
____
eeee
f_
eeee
(10)
对隐含层节点,有
pppi
piij
ii
pjpjpj
W
EEnet
OnetO
(11)
'
()
pjpjpjij
i
fnetW
(12)
如果激励函数采用如下:
1
n
ijiji
j
netw_
(13)
那么有:
'
()()(1())(1)
pjpjpjpjpj
fnetfnetfnetOO
(14)
因此,BP的权值修正公式为:
(t+1)=W()
ijijpjpj
WtO(15)
式子中是学习因子,增大能提高收敛速度,但是容易引起震荡。为了使得
学习因子足够大,又不致使激烈震荡,通常在权值公式中增加一个动量项
(t+1)=W()
ijijpjpjij
WtO?w(16)
式子中为动量因子,它能抑制网络学习中的高频震荡,起加速收敛和平滑
作用,但在网络收敛到稳定点附近会产生随机震荡,这种由造成的动量误调噪
声是影响算法收敛精度的一个主要原因。为了消除这种动量误调噪声,可将动量
因子取为网络误差的函数,并使其随着网络的收敛而衰减。
另一方面虽然BP网络得到了广泛的应用但自身也存在一些缺陷和不足,
主要包括以下几个方面的问题。
首先,由于学习速率是固定的,因此网络的收敛速度慢,修要较长的训练时
间。对于一些复杂问题,BP算法需要的训练时间可能非常长,这主要是由于学
习速率太小造成的,可采用变化的学习速率或自适应的学习速率加以改进。
其次,BP算法可以使权值收敛到某个值,但并不保证其为误差平面的全局
最小值,这是因为采用梯度下降法可能产生一个局部最小值。对于这个问题,可
以采用附加动量法来解决。
再次,网络隐含层的层数和单元数的选择尚无理论上的指导,一般是根据经
验或者通过反复实验确定。因此,网络往往存在很大的冗余性,在一定程度上也
增加了网络学习的负担。
最后,网络的学习和记忆具有不稳定性。也就是说如果增加了学习样本,训练
好的网络就需要从头开始训练,对于以前的权值和阈值是没有记忆的。