一个带不精确线性搜索的记忆梯度法

给出了一个求解无约束优化问题的带不精确线性搜索的记忆梯度法。该方法利用以前迭代的更多信息来确定新的搜索方向,并用不精确线性搜索来选择迭代步长,证明了算法满足线性搜索的条件下的全局收敛性。数值试验结果显示,新算法具有较好的稳定性,对于求解大规模的问题,该算法显得更为有效。     

一类具有全局收敛性质的共轭梯度法

非线性共轭梯度法由于其迭代简单和储存量小,且搜索方向不需要满足正割条件,在求解大规模无约束优化问题时占据及其重要的地位.提出了一类新的共轭梯度法,其搜索方向是目标函数的下降方向.若假设目标函数连续可微且梯度满足Lipschitz条件,线性搜索满足Wolfe原则,讨论了所设计算法的全局收敛性.     

修正共轭投影梯度滤子法

利用共轭投影梯度技术,结合滤子算法的思想,通过修正搜索方向,建立了一个新的共轭投影梯度滤子算法.该算法不需要求解二次规划子问题,而且能有效避免常规滤子算法中的恢复算法.在适当的条件下,证明了算法的全局收敛性.     

一种新的混合共轭梯度算法

根据现有的共轭梯度算法,提出了一种新的求解无约束优化问题的混合共轭梯度法.在每一步迭代过程中,新算法总是能生成一个充分下降方向.在Wolfe线搜索下,提出的算法具有全局收敛性.数值实验表明该算法具有良好的计算性能.     

求解大规模非光滑优化问题的一种修正Hestenes-Stiefel共轭梯度算法

利用Moreau-Yosida正则化技术和非单调线搜索技术,设计了一种针对大规模非光滑优化问题的修正Hestenes-Stiefel共轭梯度算法.该算法的搜索方向不仅自动满足充分下降条件,而且属于信赖域.在适当条件下,新算法全局收敛.初步的数值实验也表明新算法对于求解大规模非光滑无约束凸优化问题是有效的.     

求解无约束优化问题的一种新的谱共轭梯度法

在修正LS算法的基础上,对谱系数βk进行变形,并采用谱共轭梯度算法的迭代格式,提出了求解无约束优化问题minf(x),x∈Rn(f(x):Rn→R为连续可微函数)的一种新的谱共轭梯度法,对其充分下降性和全局收敛性进行了研究。结果表明,该算法在标准的Wolfe非精确线搜索下能满足充分下降性。在标准的Wolfe线搜索下具有全局收敛性。     

求解大规模优化问题的分布式并行方法

针对大规模的优化问题,提出一种复杂度低且能快速收敛的分布式并行方法。由于计算Hessian矩阵及其逆矩阵会带来巨大的计算和存储开销,利用内点法或牛顿法求解大规模问题并不可行;大规模优化问题通常采用基于梯度或基于分解的方法进行求解。传统的方法具有较高的复杂度的算法,因此笔者提出了一种新的具有更快收敛速度的原对偶方法,每次迭代仅需要进行简单的梯度更新,从而降低复杂度。     

一种Wolfe线搜索下的混合共轭梯度法

一般情况下,求解大规模无约束优化问题的有效算法是共轭梯度法。共轭梯度法的关键是选取αk和βk,不同的αk和βk决定了不同的共轭梯度算法。在HS方法和DY方法的基础上,给出了一种求解无约束问题的混合共轭梯度算法,并在Wolfe性搜索下证明了算法的全局收敛性。     

求解无约束优化问题的一种新的共轭梯度法

一般情况下,求解大规模约束问题的有效算法是共轭梯度法,βk的选取不同构成不同的共轭梯度法。提出了求解无约束优化问题的一种新的共轭梯度法,修正了βk,并在Wolfe线搜索下证明了它的全局收敛性。     

一类推广的共轭梯度法及收敛性分析

共轭梯度法由于其计算量小、收敛速度快,在求解大规模无约束问题中起着重要作用。通过对参数β_k的修正,构造了一种求解无约束问题新的共轭梯度算法,并证明了算法的全局收敛性。