10的三次方怎么稀释梯度

Posted 2023-03-20

参考技术A 这个复杂，需要了解方法。可以用到两三种方法。
十倍梯度稀释法(倍比稀释和梯度稀释)：
梯度下降是寻找函数极小值的优化方法，在深度学习模型中常用于在反向传播过程中更新神经网络的权重。

梯度下降优化算法功能是什么？

梯度下降，优化算法发挥了以下三个主要方面的作用：
1、学习率成分、或

2、修正坡度成分L/W
3或2者
让我们看看下面的公式1。
方程1 :随机梯度下降中的各种量
学习率调度器vs梯度下降优化的主要区别在于，梯度下降优化是将学习率乘以梯度的函数即因子来调整学习率成分，而学习率调度器是将学习率乘以一定的常数或关于时间步的函数的因子来更新学习率。
第一种方法主要是通过将学习率(learning rate )乘以0到1之间的因子来降低学习率)例如RMSprop。 第二种方法通常使用坡度(Gradient )的滑动平均(也称为动量)而不是纯坡度来确定下降方向。 第三种方法是将Adam和AMSGrad这样的两者结合起来。

Fig.2 )各类梯度下降优化算法、其发表年和使用的核心思路。
Fig.3自上而下，展示了这些优化算法是如何从最简单的简单梯度下降(SGD )进化到Adam的各种变种的。 SGD最初分别向两个方向发展，一个是AdaGrad，主要调整学习率(learning rate )。 另一个是Momentum，主要调整梯度的构成要素。 随着进化的发展，Momentum和RMSprop一体化，“QS dch”(Adam )诞生了。 你可能会对我这样的组织方式提出异议，但我一直以来都是这样理解的。

Fig.3 )各种最优化算法的进化图(gist ) ) ) ) ) )。

符号表示
t -迭代步数

w -需要更新的权重和参数
-学习率
L/w - L (损失函数)相对于w的梯度
因为我统一了论文中出现的希腊文字和符号表示，所以可以用统一的“进化”的观点来看这些优化算法

1. 随机梯度下降（Stochastic Gradient Descend）
最原始的随机梯度下降算法主要是将当前梯度l/w乘以一个系数学习率来更新模型的权重w。
2. 动量算法（Momentum）

动量算法使用具有动量的坡度(坡度的指数滑动平均、Polyak、1964 )而不是当前坡度来更新w。 在后续的文章中，我们会发现采用指数滑动平均作为动量更新方法几乎已经成为行业标准。
另外，v初始化值为0。 通常设定为0.9。

值得注意的是，许多文章在引用Momemtum算法时都使用年轻花瓣Qian，1999的文章。 但是，该算法的原始来源是Sutskever et al。 另一方面，经典动量算法是1964年由Polyak提出的，因此上述也引用了Polyak的文章。 (谢谢James指出这一点)
3.Nesterov加速梯度下降法（NAG）

是在Polyak提出动量法后(双关： Polyak势)
头正盛），一个使用Nesterov加速梯度下降法(Sutskever et al., 2013)的类似更新方法也被实现了。此更新方法使用V，即我称之为投影梯度的指数移动平均值。

其中

且V 初始化为0。
第二个等式中的最后一项就是一个投影梯度。这个值可以通过使用先前的速度“前进一步”获得（等式4）。这意味着对于这个时间步骤t，我们必须在最终执行反向传播之前执行另一个前向传播。这是步骤：
1.使用先前的速度将当前权重w更新为投影权重w*
（等式4）
2. 使用投影权重计算前向传播
3.获得投影梯度∂L/∂w*
4.计算相应的V和w
常见的默认值：
β = 0.9
请注意，原始的Nesterov 加速梯度下降法论文（ Nesterov, 1983 ）并不是关于随机梯度下降，也没有明确使用梯度下降方程。因此，更合适的参考是上面提到的Sutskever等人的出版物。在2013年，它描述了NAG在随机梯度下降中的应用。（再一次，我要感谢James对HackerNews的评论中指出这一点。）

稀释和浮华

  一直在找可以一起的伙伴，没能找到什么。都有一部分特点，却并不够。

  有的时候觉得这样的人没了，可当去感觉的时候总觉得还是有的。现在发现的是或许人太多的原因，把那些好的内容稀释到了不同的人身上。还是有那么多好的人，就是被分到了不同的人身上，就像稀释了一样。

  这样的话应该可以继续。

  做出来的产品服务了一部分人，如果没有自己想去服务的对象，就没有那么多心情去做产品。一直在找这样的人，哪些是自己愿意去相互交流的。

  没找到的时候就没发做事。现在持着那些人稀释到人群中的观点，...大概会有多少动力做事。

 

  喜欢玩游戏，因为它可以惊心动魄。想着这事容易清醒过来，觉得生活还是有有趣的地方。其它的不是不好，是受限于眼前的环境不好实现。像建个公司，找不到合适的人手，相互合作的人手。一是专业知识不够深度，二是应聘观念不合。去别的公司工作，别人总要求个忠诚度。我觉得如果公司好自然想留，如果不合适就走人各不耽误，这管忠诚什么关系，人都是平等的。应聘本身就是个合作关系。

  这样就找不到“敬业”的，不是对公司敬业，是对所做的事情，所承担的指责。公司有它的要求，自己有自己的要求，如果公司用到的少于自己能办到的，就没必要留。公司总要包容得下这个人，在专业深度方面。应该是说，攘括，公司本身的技专业深度需求水平应该大于员工能达到的。来公司就是傍大腿，结果没员工腿粗，就免谈了。房子容纳人需要房子本身比人的身高要高，如果进来要低着头，长时间下去还怎么做事。

  社会发展，应该有更多的公司能平等尊重别人。现在并不是争粮食逃饥饿的环境，何必要要压着人。不好就不会在这里做，越来越偏向于能自主选择。

  于是留住人就是提供一个让人喜欢的环境，各有风格，给人选择。

  虽然找工作并不是容易的事，只是希望能人和公司之间能相互自由选择，而不是公司高人一等的样子。也不是人过来应聘就要低声下气。

  另一个就是专业能力。

  很多人做事是因为挣钱多，这并不要紧，只要把事做好就可以。往往缺少做事的热情，对这件专业从事的热情。没有兴趣，没有因兴趣而带来的一个宽阔的角度。

  一辈子从事这件事，做的每一份工作不应该尽情负责吗。这可是一个人一生的职业啊，如果有觉得不妥的地方要去慢慢改变，进修。这种事和工作没关系，是自己选定这件事，自然要去做好这件事。没有尽责哪来自信，哪来能对自己说我能做的都做了，哪来信念来获得进取的机会。这是自己的职业，是用来吃饭的东西，怎么可以玩弄。

  公司可以倒闭，这是执掌人的事。自己的职业不会倒闭，换个公司就可以了。恒定价值不变，到哪里都有价值。恒定职业能力有提升，社会就会需要这个人。多大价值公司说的不算，能力说的算。

  这是必然的事情。

  于是一个人应该积累自己的能力，对所做的事有足够的热情去应对好。于是和公司之间的选择是相互的，是一份合作关系，凭借自己的能力并不会担心没有社会位置。

  当然事情有波潮，不是一如既往平静的水面上，应该长水的却低了下去。浪潮大的话，低下去的时间就很多。可是浪潮总会过去，是底是浮是自然发生的事情，不管底浮都还去积累自己的能力，雷打不动，总可以找到自己的饭碗，并做自己喜欢的事。

  外有春夏秋冬，自有追求自己喜欢的事，不随外边变化，一直积累下去。

  这才是稳路子。

   总要想办法回到稳路子上。

  如果都能敬业和自尊了，找人就好找，实现事情就容易。

  有部分人是可以做到有自己的立场的，不随着浮华的浪潮动摇。却找不到这部分人，有那些零星的特性被分布到了不同人身上。

  从广义上来看，是可以算成有着这样的人。就是人和一个模糊的印象合作，而不是人和人合作。一个人没有，一个集体还是能有这样的特性，可以把他们抽象成一个合作的人。至于这样的“人”可以让人有多大的热情去为之做事，好生产出来东西和“他”交换生产资料，...并不确定。

  社会像个大交互环境。我服务了这些人，从而获得了什么。获得的是否是我想要的，而我又是否喜欢与他们相伴。有共同的信念和信仰。

  想找到可以一起的人。观察到被稀释了好像，觉得被浮华的现象动摇走了。于是存下来好孤单，没有足够的力气去做事。

  世界总有它的角度，找到一个新的就能发现新的事情。告诉自己或许事自己看不到，现在不管那些。只要有能继续的寻找就好。想多一点心跳，在实现事情的路程上。能多看到一份希望，多有一份可以努力的过程，多有一份对目标的确定，就多一分心跳。想把那些宏远的思考想象释放出来，确定成实的事情。需要有一些人相伴。不然即使做到了，又算什么。

  只不过徒增一个孤单的身影罢了。

  想得到敬重，不过不是通过证明了什么，是通过实现了一些很多人共同期望的目标。如果本身没有人去期望这件事，没有那种认识、看法，做出来就没有意思了。

  一起有个共同的期望，期望一些事情的合理发展。这时当我去做到这件事，符合别人的认知，能被明白做了什么，有什么好的。不是通过金钱、名气，是通过自己的认知和生活感悟。

  被稀释的残影，和撼动立场的浮华。有它们存在着，并不是原来的没有了。

  继续寻找着，在这两层遮掩下。寻找着可以合作的人，寻找着可以跳动的事。