最优化

0. 凸集理论

1. 线性规划算法

2. 非线性规划

2.1 约束优化

• 2.1.1 等式约束：拉格朗日数乘法
• 2.1.2 不等式约束：KKT
• 2.1.3 二次规划

2.2 无约束优化

2.2.1 无约束优化求解

- 搜索方法

- 导数方法

• 1阶导数
• 2阶导数
• 其他

2.2.2 无约束优化应用

- 最小二乘问题

- 稀疏矩阵优化算法

- 非负矩阵优化算法