这个区别在 DP 优化器中也存在。同样是 Adam，用 decoupled weight decay 的话， 缩放 R 不影响 weight decay 的大小，但是用普通的 weight decay 的话，放大 R 两倍等价于缩小两倍的 fat decay。 最后，无论怎么选择，在这都祝愿学弟学妹们，顺利毕业，毕业后顺利就业。 观察和最后一句话（observations and last sentence）。用你自己的观察来结束，并用最后一句话来表达你工作的重要性。 1. If you are not common... https://lanero97g.win-blog.com/18448028/indicators-on-代写-you-should-know