1 非平滑函数

• 梯度法要求目标函数在点x，存在梯度$\triangledown f(x)$
• Nesterov，进一步要求目标函数，Lipschitz连续梯度
• 上述只适用于，平滑的目标函数

次梯度与次微分

• 次梯度：一个向量$g\in R^n$是函数f的次梯度，若满足

$f(y)\geq f(x)+g^T(y-x)$

• 次微分：次梯度的集合是次微分

• 迫近函数(proximity function)

• 1.3. 共轭函数

算法

• 原始对偶次梯度算法
• 投影次梯度法

2 非平滑函数的平滑凸优化

• 采用平滑逼近的方法求解

算法

• proximal gradient descent
• ISTA
• FISTA

proximal gradient descent（逼迫梯度法）

PGD对L1正则

• 迫近梯度法是梯度法的推广，梯度法是迫近梯度法的特例

ISTA（迭代软阈值化）

FISTA