Keras的Adam优化器decay理解及自适应学习率

Adam优化器是目前应用最多的优化器，在训练的过程中我们有时会让学习率随着训练过程自动修改，以便加快训练，提高模型性能。关于adam优化器的具体实现过程可以参考这篇博客，或者更简洁一点的这篇博客，这里我只想简单介绍一下adam优化器里decay的原理。

在Keras的Adam优化器中各参数如下：

: 学习率
: 0到1之间，一般接近于1
: 0到1之间，一般接近于1，和一样，使用默认的就好
: 模糊因子，如果为空，默认为
: 学习率随每次更新进行衰减
: 布尔型，是否使用变体

下面我们来看看decay是如何发挥作用的：

写为数学表达式的形式为：
$lr=lr * \frac{1}{1+decay*iterations}$
为了更好的观察学习率的衰减情况，我们将学习率lr的衰减过程画出来，lr取0.01，decay取0.01

lr=0.01,decacy=0.0001,iterations=500

从图中可以看到学习率会随着迭代次数增加而逐渐减小，这样可以在训练初期加快训练。

如果我们自己定义学习率的衰减方法，keras为我们提供了两种方法进行自定义，详见博客（稍后整理）

推荐资讯

推荐产品

产品中心标题一
用于生产保险粉，磺胺二甲基嘧啶安乃近，己内酰胺等以及氯仿，苯丙砜和苯甲醛的净化。照相工业用作定影剂的配料。香料工业用于生产香草醛。用作酿造工业防腐剂，橡胶凝固剂和
产品中心标题二
用于生产保险粉，磺胺二甲基嘧啶安乃近，己内酰胺等以及氯仿，苯丙砜和苯甲醛的净化。照相工业用作定影剂的配料。香料工业用于生产香草醛。用作酿造工业防腐剂，橡胶凝固剂和
产品中心标题九
岗亭，英文名字为Watch House，字面理解就是岗哨工作的小房子。在车场管理中，岗亭常常也称之为收费亭，是停车场管理人员收取停车费的工作场所，除此以外还可用作小区保安门卫值
产品中心标题八
岗亭，英文名字为Watch House，字面理解就是岗哨工作的小房子。在车场管理中，岗亭常常也称之为收费亭，是停车场管理人员收取停车费的工作场所，除此以外还可用作小区保安门卫值