IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> 关于torch.renorm的一些理解和np复写 -> 正文阅读

[人工智能]关于torch.renorm的一些理解和np复写

注:可直接跳至后面查看代码和解释

起因:

今天把一个训练好的人脸识别模型 放到 比特大陆的盒子上进行部署,因为比特大陆盒子上使用的npu,在模型转换的时候报错不支持的op renorm
(转换模型的方法在前面的文章有,摘同事的代码,好像需要配置环境,回头让他帮忙写下)
在这里插入图片描述

renorm

然后就搜了下renorm的意思

在这里插入图片描述
官网的解释如上。

我的代码长这样:
在这里插入图片描述

既然转换时不支持此op,所以就把最后的renorm代码去掉了,直接返回 self.seq(x)

然后把renorm当作结果的后处理进行处理。

renorm 解释

import torch
feat = torch.Tensor([[1,2,3],[4,5,6],[7,8,9]])
feat = feat.renorm(2, 0, 1e-5).mul(1e5)
print(feat)

这里renorm(2,0,1e-5)中参数解释如下
2: L2 范式

可能有的朋友不知道L2范数是什么,这里贴个Lp范数的公式
在这里插入图片描述
则L2 范数可以写成

0:官方解释是需要切片得到子张量的维数。根据我的测试,在这里表示按行计算L2范数

1e-5 :表示maxnorm的值,表示高于此值的需要除以刚刚算出来的L2范数,再乘以该值

举个例子:

import torch

a = torch.Tensor([[1,2,3],[4,5,6],[7,8,9]])

# 官方公式计算结果
print(a.renorm(2,0,1e-5).mul(1e5),'\n')

# 按行求L2范数
a_l2 = torch.sum(a*a,dim=1)**0.5
print(a_l2,'\n')

# 把范数大于 1e-5 的
for i in range(len(a_l2)):
    if a_l2[i]>1e-5:
        a[i] = a[i]/a_l2[i]/1e-5*1e5

# 这里是按照公式自己计算的结果
print(a)

结果如下:
在这里插入图片描述
可以看出除了保留位数有区别,基本是一致的。

最后我这里不用torch就是想绕过torch,这里给一个numpy重写的代码

numpy 实现

import numpy as np

max_num_val = 1e-5

b = np.array([[1,2,3],[4,5,6],[7,8,9]])
b_l2 = np.linalg.norm(b,axis=1)
#b_l2 = b_l2.reshape(3,1)

# 这里调整 numpy 对应除法,需要给l2范数增加一个维度,或者使用转置矩阵(注释掉的代码)
b_l2 = np.expand_dims(b_l2, 1)
print(b_l2,'\n')

b_l2[b_l2<=max_num_val] = 1
#res = (b.T/b_l2).T
res = b/b_l2
print(res)
  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2022-04-24 09:26:48  更:2022-04-24 09:30:52 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/26 9:31:18-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码