IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> Python知识库 -> tensorflow和pytorch设置和查看权重 -> 正文阅读

[Python知识库]tensorflow和pytorch设置和查看权重

pytorch

import numpy as np
import torch.nn as nn
import random
import os 
import torch
import seaborn as sns
import matplotlib.pyplot as plt
def seed_torch(seed=42):
    random.seed(seed)
    os.environ['PYTHONHASHSEED'] = '0'
    np.random.seed(seed)
    torch.manual_seed(seed)
    torch.cuda.manual_seed(seed)
    torch.cuda.manual_seed_all(seed) # if you are using multi-GPU.
    torch.backends.cudnn.badatahmark = False
    torch.backends.cudnn.deterministic = True
    torch.backends.cudnn.enabled = False
seed_torch()

model=nn.Sequential(nn.Linear(100,100))

nn.init.xavier_uniform_(model[0].weight)
nn.init.constant_(model[0].bias, 0)
#model.state_dict()

plt.figure()
sns.kdeplot(model[0].weight.data.numpy().flatten())
#print(output_weight)
#print(output_bias)
plt.figure()
plt.hist(model[0].weight.data.numpy().flatten())
# 这个随机看起来

结果如下
在这里插入图片描述

tensorfow

import tensorflow as tf
import seaborn as sns
os.environ[‘PYTHONHASHSEED’] = ‘0’
random_seed=42
random.seed(random_seed)
np.random.seed(random_seed)
#tf.set_random_seed(random_seed)
tf.random.set_seed(random_seed)

from tensorflow import keras
import tensorflow.keras.backend as K
from tensorflow.keras.callbacks import TensorBoard, ModelCheckpoint, EarlyStopping, ReduceLROnPlateau,History
from tensorflow.keras.layers import Dense, Input,Layer,InputSpec
from tensorflow.keras.layers import Activation
from tensorflow.keras import Sequential
from tensorflow.keras.models import Model,load_model
from tensorflow.keras.optimizers import SGD
from tensorflow.keras import callbacks
from tensorflow.keras.initializers import VarianceScaling

os.environ[“CUDA_VISIBLE_DEVICES”] = “-1”
tf.compat.v1.keras.backend.set_session(tf.compat.v1.Session(graph=tf.compat.v1.get_default_graph(),config=tf.compat.v1.ConfigProto(intra_op_parallelism_threads=1, inter_op_parallelism_threads=1)))

model=Sequential()
#在模型中添加 1-10-1 ,一个输入,一个输出,中间10个隐藏层
init_kernel=keras.initializers.glorot_uniform(seed=42)
model.add(Dense(units=100,input_dim=100,name=“hidden”,kernel_initializer=init_kernel)) #1-10部分
#model.add(Activation(‘tanh’)) #双曲正切函数,这个地方仅仅是添加一个激活函数,不是添加层
#model.add(Dense(units=1,name=“output”))#10-1部分 等效 model.add(Dense(units=1,input_dim=10))

hidden_weight,hidden_bias=model.get_layer(“hidden”).get_weights()
import matplotlib.pyplot as plt
#output_weight,output_bias=model.get_layer(“output”).get_weights()
#print(hidden_weight.shape)
#print(hidden_bias.shape)
#print(np.transpose(hidden_weight))
#print(np.transpose(hidden_bias))
plt.figure()
sns.kdeplot(hidden_weight.flatten())
#print(output_weight)
#print(output_bias)
plt.figure()
plt.hist(hidden_weight.flatten())


在这里插入图片描述
虽然我不能保证tensorflow和torch产生的结果是完全一模一样的,但是这个能保证是统一分布的

  Python知识库 最新文章
Python中String模块
【Python】 14-CVS文件操作
python的panda库读写文件
使用Nordic的nrf52840实现蓝牙DFU过程
【Python学习记录】numpy数组用法整理
Python学习笔记
python字符串和列表
python如何从txt文件中解析出有效的数据
Python编程从入门到实践自学/3.1-3.2
python变量
上一篇文章      下一篇文章      查看所有文章
加:2022-04-14 23:50:39  更:2022-04-14 23:51:36 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年12日历 -2024/12/28 22:26:52-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码
数据统计