IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> Keras求Mask后的Embedding均值 -> 正文阅读

[人工智能]Keras求Mask后的Embedding均值

????????记录下,用tensorflow很容易实现,但Keras稍微麻烦点,基本思路就是先标记出输入序列中0和非0得到这样的序列:mask=[0,0,1,1,1],其中0代表padding或者需要排除计算的位置,然后用这个序列跟Embedding结果进行乘积,将Embedding对应输入为0的向量置0,最后统计非0 位置向量的和除以mask的和即可。代码如下:

import numpy as np
import keras.backend as K
from keras.layers import Input, Embedding, Reshape, Lambda
from keras.models import Model


def build_model(seq_len, vocab_size=100, embed_dim=4):
    # 输入序列
    input_layer = Input(shape=(seq_len,), dtype='int32')
    # Embedding
    embedding_layer = Embedding(input_dim=vocab_size, output_dim=embed_dim)(input_layer)
    # 计算mask,得到[0,0,1,1,1]这样的序列
    mask = Lambda(lambda x: K.cast(K.greater(x, 0), 'float32'))(input_layer)
    # 将mask序列转换为[[0],[0], [1], [1],[1]]
    mask_reshape = Reshape((seq_len, 1))(mask)
    # 得到新的Embedding
    mask_embedding = Lambda(lambda x: x[0] * x[1])([embedding_layer, mask_reshape])
    # 求Embedding的均值
    mean = Lambda(lambda x: K.sum(x, axis=1)/K.sum(mask))(mask_embedding)
    model = Model(inputs=input_layer, outputs=mean)
    return model

data = np.array([[0, 0, 0, 2, 5]])
model = build_model(seq_len=5)
print(model.predict(data))

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2022-05-05 11:19:11  更:2022-05-05 11:20:53 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/26 7:42:10-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码