IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> Bridging the Structural Gap Between Encoding and Decoding for Data-To-Text Generation -> 正文阅读

[人工智能]Bridging the Structural Gap Between Encoding and Decoding for Data-To-Text Generation

现有模型存在的问题

在生成过程中融合结构信息,将sequential encoder替换为graph encoder,例如GCN,导致Graph2Seq模型在某些任务上比Seq2Seq出色,不过这种结构增加了encoder和decoder之间的结构差异。这种结构差异增加了在source和target之间对齐的难度,对齐即生成文本和图结构上文本的对应关系。在机器翻译过程中,pre-reordering the soure words有助于提高翻译质量。

Contribution

提出一种双编码模型来缩小结构化图和非结构文本之间的结构上的差距。
提出一种 neural planner
实现显示我们的方法比所有baseline都出色

问题定义

给出RDF数据 N-triples,根据给出的三元组输出一段描述该图中事实的自然语言文本。
在这里插入图片描述
Dual Encoding Model
1.捕获图结构信息 采用GCN encoder
2.plan encoder促使输入输出之间的信息对齐:应用于另一个GCN,序列化并重新排列图中的node作为一个中间plan,然后将这个plan传入LSTM encoder。

最后用一个LSTM decoder 综合两个encoder的上下文表示,生成输出文本。其中,graph和plan都是相同数据的不同表示,对他们进行两次独立的编码,为decoder提供互补信息。
在这里插入图片描述

Graph Representation and Encoding

改变图的结构,将entities和predicates作为node,s和o通过entity mentions辨别,p通过ID辨别。
相同提及的两个entity,即使来自不同的triples,也作为相同的node。想利用predicates来区分不同的triples,
两个相同提及的predicates也作为不同的node。

重新定义了七种edge
s->p p->s
o->p p->o
s,p,o的三种self-loop n->n
在这里插入图片描述

在建立图之后,利用R-GCN编码
在这里插入图片描述

Planning Creation and Encoding

目的:弥补结构性图和非结构性文本之间的差距,输出结果与谓词的顺序有关。
首先利用RGCN的encoder来获取每个node的表示。然而,在获取谓词的表示时为输入特征X额外附加两位。其中一个表示当前predicates是否被访问,另一个表示是否最后一个也被访问完。

在这里插入图片描述
plan生成作为顺序决策过程,将选择谓词作为分类任务。每一次选择后修改附加两位的值,通过GCN计算表示,是在剩余未访问的谓词中选择。
在这里插入图片描述
在决定了输入predicates的顺序后,我们通过添加对应的subject和object完成plan。为了获取更好的语义角色信息,区分subject/predicate/object,在S,P,O之前都添加分隔符。最后用LSTM进行编码plan,LSTM捕获序列信息。

在这里插入图片描述
在这里插入图片描述

Decoding

an LSTM-based decoder with an attention and copy mechanism

定义了两种decoder策略输入上下文
PLANENC:only use hidden states of the plan encoder as context .
DUALENC: to incorporate the information from both the graph and the plan.

DUALENC:
在这里插入图片描述

Experiments

对Planner和总体生成系统进行评估。

DataSet:WebNLG
对于每一个样本,输入为N-triples from DBPedia,最多到达7个。输出是对三元组展示的文本描述。每一个三元组集还配有人工生成的参考文本,最多达到三个。参考文本和它实现的三元组顺序对应。用于训练和评估Planner。

总体数据集包含9674个三元组集合,25298个参考文本。测试集中包含两个子集,Seen指训练时模型使用过的,Unseen指训练时模型未使用过的,用来评估模型的泛化能力。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Experiments on Text Generation

测试模型提高生成质量的能力

指标:BLEU,METEOR,TER
PLANENC与DUALENC表现相当,我们采用人工评价去进一步比较。
在这里插入图片描述SMT是在神经网络之前最主流的翻译模式,统计机器翻译;NMT则是基于神经网络的翻译模式,也是当前效果最好的翻译模式。
在这里插入图片描述

结论:
plan的准确性对生成质量至关重要。
copy机制从三元组中复制token,是有助于效果提升的。
entity mention信息能够有助于缓解数据的稀疏性并与复制机制协调。
移除delimiters影响不大。

在这里插入图片描述
Absolute判断三元组是否被生成文本覆盖或生成文本与原三元组一致。
pairwise是将DualEnc生成文本与其他模型生成的文本进行比较。

Future Work

  1. 本文中plan部分仅考虑三元组顺序,未来工作可以探索subject和object的顺序。
  2. 未来工作可以验证该方法在其他data-to-text生成任务的有效性。
  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2022-02-01 20:36:39  更:2022-02-01 20:37:44 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/18 22:49:36-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码