模块

内容

层次

备注

最优化概述 与建模

1) 最优化问题概述

2) 优化模型的建模技术

3) 优化模型举例与分类

4) 优化模型语言简介

模型

介绍最优化的历史和发展、给出最优化问题的定义，通过具体例子介绍优化模型建立的过程和建模技术，介绍几个有代表性的优化模型，并基于此模型对最优化进行分类，最后介绍两个优化模型语言CVX和AMPL。

基本概念 与算法框架

1) 改进搜索

2) 局部最优、全局最优

3) 下降方向、可行方向

4) 无约束最优性条件

5) 算法收敛性、收敛速度

基础

通过一个优化实例介绍改进搜索的基本框架和求解过程，并由此给出局部最优、全局最优、下降方向、可行方向、无约束优化最优性条件，算法收敛等概念，并适时引入相关数学概念。

优化理论

1) 凸分析

2) 最优性条件

3) 对偶理论

理论：根据专业实际需要选择内容深度

介绍凸集与凸函数等凸分析基本内容，给出线性规划可行域的基本性质。给出一般约束优化最优性条件，凸规划最优性条件、线性规划互补松弛定理，对偶理论，将对偶线性规划融入一般的对偶规划进行讲解，以注解的方式给出所需相关数学概念。

无约束优化

1) 一维搜索

2) 梯度搜索、BB法、次梯度法

3) 牛顿法

4) 拟牛顿法

5) 共轭梯度法

6) 信赖域法

7) 无导数优化方法

8) 最小二乘

9) 软件求解介绍

10) 应用举例

算法：根据专业实际需要选择讲授内容

介绍一维搜索、梯度法、BB法、次梯度法、牛顿法、拟牛顿法、共轭梯度法、信赖域法、最小二乘、无导数优化等。强调不同算法的共同点和差异。根据不同专业和学生层次进行内容取舍，给出在人工智能、机器学习、通信等中的应用案例。介绍相关算法研究进展。根据课时安排课内或课后的上机实践。

约束优化

1) 罚函数法

2) 拉格朗日乘子法

3) 线性规划(单纯形法、对偶单纯形法、内点法)

4) 可行方向法

5) 软件求解介绍

6) 应用举例

算法：根据专业实际需要选择讲授内容

罚函数法、乘子法、线性规划求解算法、可行方向法等。根据不同专业和学生层次进行内容取舍，给出在人工智能、机器学习、通信等中的应用案例及参考文献。介绍相关算法研究前沿进展。根据课时安排课内或课后的上机实践。

凸优化

1) 凸规划模型及应用举例

2) 凸规划对偶理论

3) 内点法

4) 半正定规划(SDP)

5) 二阶锥规划(SOCP)

理论：基础概念及定理

算法：根据需要选讲本算法

共轭对偶、lagrange对偶与锥优化、中心路径、原始对偶内点法、SDP的求解、SDP松弛及应用、凸二次约束二次规划。根据课时安排课内或课后的上机实践。

复合优化

1) 近似点梯度法及近似点算法

2) 分块坐标下降法

3) 对偶算法

4) 交替方向乘子法

5) 随机优化方法

6) 软件求解介绍

7) 应用举例

算法：根据课时和专业需求选择讲授内容

近似点梯度法、Nesterov加速算法、近似点算法、分块坐标下降法、对偶算法、交替方向乘子法、随机优化方法。根据不同专业和学生层次进行内容取舍，给出在人工智能、机器学习、通信等中的应用案例。介绍相关算法研究前沿进展。根据课时安排课内或课后的上机实践。

其它优化算法

启发式方法

局部搜索

遗传算法

禁忌搜索

模拟退火算法

算法：根据课时和专业需求选择讲授内容

介绍启发式算法和一些经典智能优化算法，拓展优化算法内容，为进一步学习研究打下基础。根据课时安排课内或课后的上机实践。