背景：我的一位同事曾提到，他在面试深度学习相关职位中被问到一些关于优化算法的问题。我决定在本文中就优化算法做一个简短的介绍。
成本函数的最优化算法 目标函数是一种试图将一组参数最小化的函数。在机器学习中，目标函数通常被设定为一种度量，即预测值与实际值的相似程度。通常，我们希望找到一组会导致尽可能小的成本的参数，因为这就意味着你的算法会完成得很好。一个函数的最小成本可能就是最小值。有时，成本函数可以有多个局部最小值。幸运的是，在非常高维的参数空间中，保护目标函数的充分优化的局部极小值不会经常发生，因为这意味着在过程的早期，每个参数都为凹（concave）。这不是典型的情况，所以我们剩下了很多鞍点（saddle point），而不是真正的最小值。
找到导致最小值的参数集的算法被称为优化算法。随着算法复杂度的增加，我们会发现它们能够更有效地达到最小值。在这篇文章中，我们将讨论四种优化算法，包括:
- 随机梯度下降算法(SGD)
- Momentum算法
- RMSProp算法
- Adam算法
随机梯度下降算法 在随机梯度下降算法中，你很可能会遇到这样的方程:
θ（theta）是你想要找到使J最小化的最优值。J在这里这被称为目标函数。最后我们得到了一个被称为α（alpha）的学习速率。反复评估这个函数直到你达到预期的成本。
这是什么意思? 设想一下，你坐在山顶上的雪橇上，望着另一座山。如果你滑下山坡，直到你最终到达底部之前，你会一直向下移动。如果第一座山足够陡峭，你可能会开始沿着另一座山向上爬。在这个类比中，你可以认为:
θ：作为山的位置
：作为角度θ大小的陡坡
α：作为
高学习率意味着低摩擦（friction），因此雪橇会像在冰上一样，沿着山坡急速下降。低学习率意味着高摩擦，所以雪橇就像在地毯上一样，挣扎着从山坡上往下滑。我们如何用上面的方程来模拟这种效果呢?
随机梯度下降算法： 1.初始化参数(θ，学习速率) 2.计算每个角度θ的梯度 3.更新参数 4.重复步骤2和步骤3，直到成本稳定
让我们来以一个简单的例子来看看它是如何工作的！
这里我们看到了一个目标函数和它的导数(梯度)：
我们可以用下面的代码生成一个函数的图，以代码的形式表示1/30的它的梯度（倾斜度）：
在上面的图中，有两件事十分引人注目。首先，请注意这个成本函数是如何有一些最小值的(大约为2.25、1.0和1.7)。其次，注意到导数在最小值处等于0，在拐点处等于最大的数值。这个特点是我们在随机梯度下降算法中所要利用的。
我们可以在下面的代码中看到上述四个步骤的实现。下面的视频显示了θ的值和每个步长的梯度。
这看起来效果很好！你应该注意到，如果θ的初始值较大，那么优化算法将会在另一个局部极小值中出现。然而，正如上面所提到的，在一个极其高维的空间中存在一个糟糕的、真正的最小值的机会是不太可能的，因为它将要求所有的参数同时为凹。
你可能会想，“如果我们的学习速率太大的话，会发生什么?”如果步长太大，那么算法可能永远无法找到下面动画中所示的那种最优情况。监控成本函数，并确保其总体上是否单调递减是十分重要的。如果不是，你就必须降低学习速率。
随机梯度下降算法也适用于多变量参数空间的情况。我们可以把2D的函数画成等值线图。在这里你可以看到随机梯度下降算法在一个不对称的碗形函数上工作。
随机梯度下降算法与Momentum算法 通常情况下，我们希望使用非常大的学习速率来快速学习感兴趣的参数。不幸的是，当成本面很窄时，这可能会导致参数不稳定。在前一段视频中，你可以看到y参数方向上的颠簸，以及对最小值的水平方向的缺失。Momentum算法试图通过预测过去的梯度来解决这个问题。通常情况下，随机梯度下降算法和Momentum算法更新参数以下面的方程式表示:
γ（gamma）和ν（nu）值允许用户对dJ(θ)的前一个值和当前值进行加权，以确定θ的新值。人们很普遍地选择γ和ν的值来创建一个指数的加权移动平均，如下所示:
测试参数的一个好的起始点是0.9。选择一个等于1-1/t的β（beta）值，可以让我们更强烈地考虑vdw的最后的t值。这种优化的简单更改可以产生惊人的结果！我们现在可以使用更大的学习速率，并且在一小段时间内集中在解决方案上！
RMSProp算法 通过观察每个参数对每个参数的梯度相对大小，RMSProp算法尝试对Momentum函数进行改进。正因为如此，我们可以采取每个梯度的平方的加权指数移动平均，并按比例将梯度下降函数标准化。带有大梯度的参数将比带有小梯度的参数大得多，并允许平滑下降到最优值。这可以从下面的等式中看出:
注意，这里的eps（epsilon）是为了数值稳定性而添加的，可以带入值10e-7。这会看上去如何呢?
Adam算法 Adam算法将Momentum算法和RMSProp算法的概念结合到一种算法中，以获得两种算法的最佳特征。它的公式如下:
Adam算法可能是目前深度学习中最广泛使用的优化算法。它在各种各样的应用程序中都很好用。你会注意到，Adam算法计算的是一个vdwcorr值。这个值被用来“热身”指数的加权移动平均。通过推进这些值与经过的迭代次数成反比，它将标准化这些值。在使用Adam算法时，有一些很好的初始值。最好从一开始就将β1（beta1）设置为.9，β2（beta2）设置为.999。
结尾 在选择如何优化你的输入参数作为目标函数的一个函数时，你有相当多的选择。在上面的例子中，我们发现每种算法的收敛速度变得越来越快:
– 随机梯度下降算法:100次迭代 – 随机梯度下降算法+Momentum算法:50次迭代 – RMSProp算法:10次迭代 —Adam算法:5次迭代
