pytorch learning rate decay

2024年5月23日 205次阅读 来源: pytorch

关于learning rate decay的问题，pytorch 0.2以上的版本已经提供了torch.optim.lr_scheduler的一些函数来解决这个问题。

我在迭代的时候使用的是下面的方法。

classtorch.optim.lr_scheduler.MultiStepLR(optimizer, milestones, gamma=0.1, last_epoch=-1)

>>> # Assuming optimizer uses lr = 0.05 for all groups >>> # lr = 0.05 if epoch < 30 >>> # lr = 0.005 if 30 <= epoch < 80 >>> # lr = 0.0005 if epoch >= 80 >>> scheduler = MultiStepLR(optimizer, milestones=[30,80], gamma=0.1) >>> for epoch in range(100): >>> scheduler.step() >>> train(...) >>> validate(...)
使用的时候check一下pytorch的版本，如果提示没有lr_scheduler don't find 尝试用from torch.optim import lr_scheduler 导入
具体的训练代码见 https://www.cnblogs.com/z1141000271/p/9394738.html
    原文作者：pytorch
    原文地址: https://www.cnblogs.com/z1141000271/p/9417473.html
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞