caffe不同lr_policy参数设置方法

Posted 2020-11-16 cnugis

fixed

参数：

1. base_lr: 0.01
2. lr_policy: "fixed"
3. max_iter: 400000

step

参数：

1. base_lr: 0.01
2. lr_policy: "step"
3. gamma: 0.1
4. stepsize: 30
5. max_iter: 100

exp

参数：

1. base_lr: 0.01
2. lr_policy: "exp"
3. gamma: 0.1
4. max_iter: 100

参数 gamma 的值要小于1。当等于1的时候，学习策略变为了 fixed。由exp的学习率计算方式可以看出，在 gamma = 0.1 的情况下，学习率每迭代一次变为上一次迭代的0.1倍。

inv

参数：

1. base_lr: 0.01
2. lr_policy: "inv"
3. gamma: 0.1
4. power: 0.75
5. max_iter: 10000

由上图可以看出，参数 gamma 控制曲线下降的速率，而参数 power 控制曲线在饱和状态下学习率达到的最低值。

multistep

参数：

1. base_lr: 0.01
2. lr_policy: "multistep"
3. gamma: 0.5
4. stepvalue: 1000
5. stepvalue: 3000
6. stepvalue: 4000
7. stepvalue: 4500
8. stepvalue: 5000
9. max_iter: 6000

每一次学习率下降到之前的 gamma 倍。

poly

参数：

1. base_lr: 0.01
2. lr_policy: "poly"
3. power: 0.5
4. max_iter: 10000

学习率曲线的形状主要由参数 power 的值来控制。当 power = 1 的时候，学习率曲线为一条直线。当 power < 1 的时候，学习率曲线是凸的，且下降速率由慢到快。当 power > 1 的时候，学习率曲线是凹的，且下降速率由快到慢。

sigmoid

参数：

1. base_lr: 0.01
2. lr_policy: "sigmoid"
3. gamma: -0.001
4. stepsize: 5000
5. max_iter: 10000

参数 gamma 控制曲线的变化速率。当 gamma < 0 时，才能控制学习率曲线呈下降趋势，而且 gamma 的值越小，学习率在两头变化越慢，在中间区域变化越快