小波神经网络及其应用.doc

小波神经网络及其应用1014202032陆宇颖摘要：小波神经网络是将小波理论和神经网络理论结合起来的一种神经网络，它避免了BP神经网络结构设计的盲目性和局部最优等非线性优化问题，大大简化了训练，具有较强的函数学习能力和推广能力及广阔的应用前景。首先阐明了小波变换和多分辨分析理论，然后介绍小波神经网络数学模型和应用概况。研究背景与意义人工神经网络是基于生物神经系统研究而建立的模型，它具有大规模并行处理和分布式存储各类图像信息的功能，有很强的容错性、联想和记忆能力，因而被广泛地应用于故障诊断、模式识别、联想记忆、复杂优化、图像处理以及计算机领域。但是，人工神经网络模型建立的物理解释，网络激活函数采用的全局性函数，网络收敛性的保证，网络节点数的经验性确定等问题尚有待进一步探讨和改善。小波理论自Morlet提出以来，由于小波函数具有良好的局部化性质，已经广泛渗透到各个领域。小波变换方法是一种窗口大小固定但其形状可以改变,时间窗和频率窗都可以改变的时频局部化分析方法,由于在低频部分具有较高的频率分辨率和较低的时间分辨率,在高频部分具有较高的时间分辨率和较低的频率分辨率,所以被誉为数学显微镜。正是这种特性,使小波变换具有对信号的自适应性。基于多分辨分析的小波变换由于具有时频局部化特性而成为了信号处理的有效工具。实际应用时常采用Ｍａｌｌａｔ快速算法，利用正交小波基将信号分解到不同尺度上。实现过程如同重复使用一组高通和低通滤波器把信号分解到不同的频带上，高通滤波器产生信号的高频细节分量，低通滤波器产生信号的低频近似分量。每分解一次信号的采样频率降低一倍，近似分量还可以通过高通滤波和低通滤波进一步地分解，得到下一层次上的两个分解分量。而小波神经网络（WaveletNeuralNetwork,WNN）正是在近年来小波分析研究获得突破的基础上提出的一种人工神经网络。它是基于小波分析理论以及小波变换所构造的一种分层的、多分辨率的新型人工神经网络模型，即用非线性小波基取代了通常的非线性Sigmoid函数，其信号表述是通过将所选取的小波基进行线性叠加来表现的。小波神经网络这方面的早期工作大约开始于1992年,主要研究者是ZhangQ、HaroldHS和焦李成等。其中,焦李成在其代表作《神经网络的应用与实现》中从理论上对小波神经网络进行了较为详细的论述。近年来,人们在小波神经网络的理论和应用方面都开展了不少研究工作。小波神经网络具有以下特点。首先，小波基元及整个网络结构的确定有可靠的理论根据，可避免BP神经网络等结构设计上的盲目性；其次，网络权系数线性分布和学习目标函数的凸性，使网络训练过程从根本上避免了局部最优等非线性优化问题；第三，有较强的函数学习能力和推广能力。数学模型与小波工具2.1小波变换及多分辨分析在函数空间（或更广泛的Hilbert空间）中，选择一个母小波函数（又称为基本小波函数），使其满足允许条件：式中为的Fourier变换。对作伸缩、平移变换得到小波基函数系对任意,其连续小波变换定义为：反演公式为：在实际应用中，特别是计算机实现中，往往要把上述的连续小波及其变换离散化，通常采用二进制离散，即令，则二进小波一定是一个允许小波，且是一个正交小波基。考虑一个连续的、平方可积的函数在分辨率下的逼近，由多分辨分析理论可知：是尺度函数，对其作伸缩、平移变换得到。Mallat同时证明了函数在和分辨率下的信息差别（即细节），可以通过将函数在一小波正交基上分解而获得，从而定义了一种完全而且正交的多分辨率描述，即小波描述。就是式（5）定义的二进小波，则在分辨率下的逼近式为：Mallat并指出，对于任意一个函数可以在一组正交小波基上展开：式（11）是一个平方可积函数的小波分解，提供了小波神经网络设计的理论框架。上述理论可推广到多维情况。我们以二维为例，若定义二维尺度函数，则则有:同理有:小波神经网络模型小波神经网络模型的典型结构如图1所示，包括输入层、输出层和隐层。隐层包含两种节点：小波基节点（节点）和尺度函数节点（节点）。分层多分辨学习网络输出在分辨率（最低的分辨率）上的逼近：在分辨率上的逼近：式（18）中的第一项表示在分辨率上的逼近，在式（17）中已计算，即系数与式（17）中相同。式（18）中的第二项表示增加的细节。再考虑在，，…分辨率上的逼近,有:上述方程式是小波神经网络的学习算法，这种算法是Moody在1989年提出的。网络系数计算对于式（19）可以改写成下述形式：是网络权重系数，是激活函数（尺度函数或小波函数）。设小波神经网络有n个节点，m个训练数据。则有：即式（20）的最小二乘解为：被称为的伪逆矩阵。且如果样本均匀分布，是正交基，则是一个单位矩阵，且2.2.3小波神经网络学习过程选择合适的小波函数和尺度函数后，在最粗的尺度L上训练节点，直到网络达到