IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> pytorch中的parameters -> 正文阅读

[人工智能]pytorch中的parameters

pytorch中的parameters

在模型中,会出现model.parameters()与model.state_dict()
前者用于优化器的初始化,后者多用于模型的保存

#initialize for weight optimizer
self._weight_optimizer = torch.optim.Adam(
    self._net.weight_parameters(),  # 到nas中weight_parameters
    lr=self._weight_lr,  # 0.01
    weight_decay=self._weight_decay  # 0.00001
)
 def _save(self, mode):
        save_dir = os.path.join(param_path, self._name)
        if not os.path.exists(save_dir):
            os.mkdir(save_dir)
        states = {
            'net': self._net.state_dict(),
            'arch_optimizer': self._arch_optimizer.state_dict(),
            'arch_optimizer_scheduler': self._arch_optimizer_scheduler.state_dict(),
            'weight_optimizer': self._weight_optimizer.state_dict(),  # Python字典对象 其中包含有关优化器状态以及超参数的信息
            'weight_optimizer_scheduler': self._weight_optimizer_scheduler.state_dict(),
            'best_epoch': self._best_epoch,
            'valid_records': self._valid_records
        }
        filename = os.path.join(save_dir, '%s.pth' % mode)
        torch.save(obj=states, f=filename)
        logging.info('[eval]\tepoch[%d]\tsave parameters to %s', self._best_epoch, filename)

当我们对网络调参或者查看网络的参数是否具有可复现性时,可能会查看网络的参数。
对于parameters() 实例源码:

 def parameters(self, recurse=True):
        r"""Returns an iterator over module parameters.

        This is typically passed to an optimizer.

        Args:
            recurse (bool): if True, then yields parameters of this module
                and all submodules. Otherwise, yields only parameters that
                are direct members of this module.

        Yields:
            Parameter: module parameter

        Example::

            >>> for param in model.parameters():
            >>>     print(type(param.data), param.size())
            <class 'torch.FloatTensor'> (20L,)
            <class 'torch.FloatTensor'> (20L, 1L, 5L, 5L)

        """
        for name, param in self.named_parameters(recurse=recurse):
            yield param

yield是一个生成器
对于生成器,我们需要用循环或者next()来获取数据,我们这里以一个简单的网络做例子:

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.linear = nn.Linear(2,2)
    def forward(self, x):
        out = self.linear
        return out

net = Net()

for para in net.parameters():
    print(para)

Parameter containing:
tensor([[ 0.2593, -0.3468],
        [-0.2661,  0.0250]], requires_grad=True)
Parameter containing:
tensor([0.5084, 0.4834], requires_grad=True)

state_dict()方法,看名字中dict就知道这是个字典,我们直接print():

OrderedDict([('linear.weight', tensor([[0.2781, 0.3600],
        [0.4755, 0.1770]])), ('linear.bias', tensor([-0.4715,  0.6185]))])

如果设置随机种子,每一次就是一样的

参考链接:https://zhuanlan.zhihu.com/p/270344655

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2021-07-11 16:38:36  更:2021-07-11 16:40:33 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年3日历 -2024/3/29 21:09:28-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码