PyTorch中的model.zero_grad()和optimizer.zero_grad()

2024年1月23日 796次阅读 来源: RICHARD 
model.zero_grad()
optimizer.zero_grad()

首先，这两种方式都是把模型中参数的梯度设为0

当optimizer = optim.Optimizer(net.parameters())时，二者等效，其中Optimizer可以是Adam、SGD等优化器

def zero_grad(self):
        """Sets gradients of all model parameters to zero."""
        for p in self.parameters():
            if p.grad is not None:
                p.grad.data.zero_()

    原文作者：RICHARD
    原文地址: https://zhuanlan.zhihu.com/p/62387047
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞