二次函数上的一步梯度下降
梯度下降的一步会让损失变大吗？
互动示例
- 当前损失
- 10
- 损失变化
- -9
沿负梯度方向的一步在步长过大时仍可能增加损失。
查看数值
| 量 | 数值 |
|---|---|
| 当前 w | 0 |
| 梯度 | -6 |
| 下一步 w | 3 |
| 下一步损失 | 1 |
值得观察什么
关联导数、更新规则和观察到的损失变化。
成立条件
一维可微二次函数，以及明确的更新 w − 步长 × 梯度。
这个例子不能说明什么
二次函数具有简单的全局形状；这不能描述所有优化景观。
互动示例
沿负梯度方向的一步在步长过大时仍可能增加损失。
| 量 | 数值 |
|---|---|
| 当前 w | 0 |
| 梯度 | -6 |
| 下一步 w | 3 |
| 下一步损失 | 1 |
关联导数、更新规则和观察到的损失变化。
一维可微二次函数，以及明确的更新 w − 步长 × 梯度。
二次函数具有简单的全局形状；这不能描述所有优化景观。