一般无约束优化问题的广义拟牛顿法.docx

一般无约束优化问题的广义拟牛顿法
一般无约束优化问题的广义拟牛顿法
概述
广义拟牛顿法是一种常用于解决无约束优化问题的功斯特广义拟牛顿法的推广。它主要利用了牛顿方法和拟牛顿方法的优点，避免了耗费大量时间计算Hessian矩阵的问题，维护一个迭代的估计Hessian矩阵代替了牛顿方法中计算Hessian矩阵的过程。
广义拟牛顿法的基本思想是在迭代中通过估计Hessian矩阵Bk的逆矩阵，不断更新当前的搜索方向，直到找到满足精度要求的解。随着迭代次数的增加，估计的Hessian矩阵Bk的逆矩阵越来越接近真实的Hessian矩阵的逆矩阵，搜索方向也越来越趋近于最优解时的下降方向。因此，广义拟牛顿法具有快速收敛、少计算Hessian矩阵、适用于高维问题等优点。
算法流程
设f(x)是一个具有连续二阶导数的实值函数，在点xk处进行迭代，通过估计的Hessian矩阵Bk的逆矩阵，求解出搜索方向pk，并通过线性搜索来确定迭代步长αk，即
1.初始化B0为B0的逆为一个正定对称矩阵，设置初始点x0，迭代次数k=0；
2.求出当前估计矩阵Bk的逆矩阵Bk-1，并计算搜索方向pk=-Bk-1∇f(xk)；
3.确定步长αk，使得f(xk+αkpk)≤f(xk)，即αk=min{1,βk}，其中βk满足Armijo条件；
4.迭代更新：xk+1=xk+αkpk，并计算梯度∇f(xk+1)；
5.计算Bk，并将k=k+1，重复2~5步，直到收敛。
其中，Armijo条件是一种常用的步长选择准则，其表述如下：
f(xk+αkpk)≤f(xk)+cαk∇f(xk)Tp，其中0<c<1，0<β<1。
算法特点
广义拟牛顿法是一种迭代算法，它的迭代次数通常比牛顿法和拟牛顿法少，因为它不需要计算Hessian矩阵，而是利用逆Hessian矩阵的估计来确定搜索方向。此外，广义拟牛顿法具有以下几个特点：
1.由于不需要计算Hessian矩阵，可以避免计算时间和空间消耗的问题。
2.广义拟牛顿法是一种迭代法，可适用于高维问题，因此在实际应用中具有广泛的适用性。
3.由于广义拟牛顿法估计了一阶和二阶导数的信息，因此它的搜索方向具有更好的收敛性。
实例应用
在实际应用中，广义拟牛顿法通常与其他优化算法相结合，如共轭梯度法、LBFGS方法等等。以下是在MATLAB中使用LBFGS方法求解Rosenbrock函数的例子。
1.算法实现
function[f,g]=rosenbrock(x)
f=100*(x(2)-x(1)^2)^2+(1-x(1))^2;
ifnargout>1
g=[-400*x(1)*(x(2)-x(1)^2)-2*(1-x(1));200*(x(2)-x(1)^2)];
end
2.初始化
x0=[-1.2;1];
3.应用LBFGS方法进行优化
options=optimoptions('fminunc','Algorithm','quasi-newton','HessUpdate','lbfgs','SpecifyObjectiveGradient',true,'Display','iter');
[x,fval,exitflag,output]=fminunc(@rosenbrock,x0,options);
4.结果分析
通过上述实例，可以得到Rosenbrock函数的最小值，同时LBFGS方法也被证明是一种计算效率高、收敛速度快的优化算法。实际上，广义拟牛顿法还可以应用于其他无约束优化问题，如最小二乘、非线性规划、信号处理、机器学习等领域中的优化问题。
结论
广义拟牛顿法是一种常用于解决无约束优化问题的算法。它通过估计Hessian矩阵的逆矩阵来确定搜索方向，避免了计算Hessian矩阵的时间和空间消耗，具有快速收敛、适用于高维问题、不需要计算Hessian矩阵等优点。在实际应用中，广义拟牛顿法经常与其他优化算法相结合，如共轭梯度法、LBFGS方法等等，以提高求解效率。