项目场景:深度学习中pytorch关于key error:XX.xx.conv.0.weight,参数缺失不在,固定变量不能改变,或者多余的问题
提示:这里简述项目相关背景: 例如:项目场景:示例:通过蓝牙芯片(HC-05)与手机 APP 通信,每隔 5s 传输一批传感器数据(不是很大)
问题描述:
pytorch训练深度学习中,关于key error:XX.xx.conv.0.weight这类问题,参数缺失不在,固定变量不能改变,或者多余的问题 提示:这里描述项目中遇到的问题: 例如:数据传输过程中数据不时出现丢失的情况,偶尔会丢失一部分数据 APP 中接收数据代码:
@Override
public void run() {
bytes = mmInStream.read(buffer);
mHandler.obtainMessage(READ_DATA, bytes, -1, buffer).sendToTarget();
}
原因分析:
通常是因为导入了weight.pth这一类权值文件造成,这些权值文件可能包含固有变量,backbone或者body模型中参数修改了一些参数导致不能和权值文件匹配,导致不能开始训练,或者一直报错,怎么修改也不行 提示:这里填写问题的分析: 例如:Handler 发送消息有两种方式,分别是 Handler.obtainMessage()和 Handler.sendMessage(),其中 obtainMessage 方式当数据量过大时,由于 MessageQuene 大小也有限,所以当 message 处理不及时时,会造成先传的数据被覆盖,进而导致数据丢失。
解决方案:通常
通常,屏蔽掉trian.py里面的预训练 pretrian就可以解决
device = torch.device(‘cuda’ if torch.cuda.is_available() else ‘cpu’)
# model_dict = model.state_dict()
# pretrained_dict = torch.load(model_path, map_location=device)
# pretrained_dict = {k: v for k, v in pretrained_dict.items() if np.shape(model_dict[k]) == np.shape(v)}
# model_dict.update(pretrained_dict)
# model.load_state_dict(model_dict)
这里是一些预训练的基本代码
提示:这里填写该问题的具体解决方案: 例如:新建一个 Message 对象,并将读取到的数据存入 Message,然后 mHandler.obtainMessage(READ_DATA, bytes, -1, buffer).sendToTarget();换成 mHandler.sendMessage()。
|