Skip to content

Commit bc60397

Browse files
committed
Update 2.improving-deep-neural-networks-2.optimization-algorithms.md
1 parent 7f2854f commit bc60397

File tree

1 file changed

+3
-3
lines changed

1 file changed

+3
-3
lines changed

deep-learning/2.improving-deep-neural-networks-2.optimization-algorithms.md

+3-3
Original file line numberDiff line numberDiff line change
@@ -69,7 +69,7 @@ mini-batch的数量 _t_ 组成了 _X<sup>{t}</sup>_ 和 _Y<sup>{t}</sup>_ ,这
6969
Python伪代码如下
7070

7171
``` python
72-
# there are 5000 epchos
72+
# in one epoch, there are 5000 iterations
7373
for t in range(5000):
7474
# forward prop on X^{t}
7575
Z = W @ X[t] + b
@@ -550,7 +550,7 @@ for i in range(1, iterations):
550550

551551
所以**我们从深度学习历史中学到的一课就是,我们对低维度空间的大部分直觉,比如你可以画出上面的图,并不能应用到高维度空间中**适用于其它算法,因为如果你有2万个参数,那么 _J_ 函数有2万个维度向量,你更可能遇到鞍点,而不是局部最优点。
552552

553-
如果局部最优不是问题,那么问题是什么?结果是平稳段会减缓学习,平稳段是一块区域,其中导数长时间接近于0,如果你在此处,梯度会从曲面从从上向下下降,因为梯度等于或接近0,曲面很平坦,你得花上很长时间慢慢抵达平稳段的这个点,因为左边或右边的随机扰动,然后你的算法能够走出平稳段(红色笔)。
553+
如果局部最优不是问题,那么问题是什么?结果是平稳段会减缓学习,平稳段是一块区域,其中导数长时间接近于0,如果你在此处,梯度会从曲面从上向下下降,因为梯度等于或接近0,曲面很平坦,你得花上很长时间慢慢抵达平稳段的这个点,因为左边或右边的随机扰动,然后你的算法能够走出平稳段(红色笔)。
554554

555555

556556
我们可以沿着这段长坡走,直到这里,然后走出平稳段。
@@ -572,4 +572,4 @@ for i in range(1, iterations):
572572

573573
- [2. Improving Deep Neural Networks (Part 2)](https://github.com/loveunk/deep-learning-exercise-notebook/blob/master/2.%20Improving%20Deep%20Neural%20Networks/week6)
574574

575-
[回到首页](#深度神经网络调参和优化二)
575+
[回到首页](#深度神经网络调参和优化二)

0 commit comments

Comments
 (0)