IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> [BUG] 模型输出有空值 -> 正文阅读

[人工智能][BUG] 模型输出有空值

日常复现模型,打开日志文件,测试误差部分满屏幕的报错,没截图,大意是:模型输出有空值,无法计算fmax和aupr

然后因为是服务器上跑,不知道怎么启动调试模式,只能使用print大法打出中间变量。类似这个样子:

        h_output_ = torch.matmul(self.origin_adj.transpose(0, 1) * self.out_adj_matrix, h_)
        # print(5, torch.isnan(self.origin_adj).any())
        # print(6, torch.isnan(self.out_adj_matrix).any())
        # print(7, torch.isnan(h_).any())
        
        out_ = h_output_ + self.out_edge_bias
        # print(8, torch.isnan(out_).any())
        out_gate_ = torch.matmul(h_, self.out_gate_weight)
        # print(9, torch.isnan(out_gate_).any())
        # print(12, self.out_bias_gate)
        out_gate_ = out_gate_ + self.out_bias_gate
        # print(10, torch.isnan(out_gate_).any())
        # print(11, torch.isnan(self.out_bias_gate).any())

最后定位到是self.out_bias_gate里面有空值:

往回查,发现这个参数只定义了,没有初始化:

self.out_bias_gate = Parameter(torch.Tensor(num_nodes, 1))

初始化之后,问题解决:

for param in [self.edge_bias, self.out_edge_bias, self.bias_gate, self.out_bias_gate]:
            nn.init.zeros_(param)

但问题依旧不少:首先,用这个模型训练了两个数据集,但是前一个没有问题,到这个就报值为空的错误。其次,在打印中间变量的时候,出现过一次什么都没有改,但是程序成功跑起来了的情况。最后,在一开始debug的时候,为了缩短训练时间,强制将一个epoch的迭代次数设置为10,最后程序也是成功跑起来了。

炼丹果然是一门玄学。

===============更新==============

思来想去,对于第一个问题,两个数据集一个可以成功跑起来一个不能。而这两个模型在定义self.out_bias_gate的时候,只有一个值是不一样的:num_nodes

于是乎我进行了一个简单的实验,得到的结果让人哭笑不得:

?玄学,果然是玄学

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2022-04-09 18:22:35  更:2022-04-09 18:25:49 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/26 10:50:33-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码