IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> 序列标注任务数据增强 -> 正文阅读

[人工智能]序列标注任务数据增强

在上一篇文章我们学习了基本的数据增强的 N 种方法,今天我们针对“序列标注”任务具体聊一聊如何数据增强?“序列标注”是一个 token-level 的分类任务,当进行全局结构化预测时候,一些增强方式产生的数据噪音可能会让“序列标注”模型变得敏感脆弱,导致评估指标下降。本文主要讲解一篇论文对“序列标注”任务的数据增强方法:

  • DAGA: Data Augmentation with a Generation Approach forLow-resource Tagging Tasks

DAGA

本文提出了一种新的用于序列标注任务的数据增强技术。不同于以往提出的同义词替换或者针对翻译任务的反向翻译等数据增强方法,论文提出的方法通过线性化的方式把文本数据和序列标注变成语言模型的输入数据,从而通过语言模型,生成更多的训练数据,以此达到数据增强的目的。 此方法可以显著提高NER, POS, ABSA等下游序列标注任务在低资源场景下的准确率。

线性化

DAGA的核心思想就是标签线性化: 即将原始的「序列标注标签」与「句子token」进行混合,也就是变成「Tag-Word」的形式,如下图所示:将「B-PER」放置在「Jose」之前,将「E-PER」放置在「Valentin」之前;对于标签「O」则不与句子混合。标签线性化后就可以生成一个句子了,基于这个句子就可以进行语言模型生成训练。
在这里插入图片描述

Language Modeling and Data Generation

在这里插入图片描述

模型训练

利用无标签数据、知识库和有标签数据,学到更好的句子分布。

  • 对于标注语料,用「labeled」在句首作为条件标记;
  • 对于无标注语料,用「unlabeled」在句首作为条件标记;
  • 对于知识库,对无标注语料进行词典匹配后(正向最大匹配),用「KB」在句首作为条件标记;
  • 只要输入「BOS」+「labeled」/「unlabeled」/「KB」,即可通过上述语言模型、自回归生成新的增强数据

数据生成

Example: “I have booked a flight to”

  • RNNLM 模型预测一下个字符是「S-LOC」概率远大于其他字符。
  • RNNLM 模型继续预测“ I have booked a flight to S-LOC”的下一个字符,下一个字符可能是“London、Paris,Tokyo”等。

问题一:标签放在实体前还是放在实体后?

将「B-PER」放置在「Jose」之前,还是放置到「Jose」之后,作者尝试了两个方案,标签放在实体之前效果较好。

问题二: 为什么DAGA方法有效?

生成数据的多样性,多阳性的评估标准是一个实体上下文的丰富度。
在这里插入图片描述

参考链接

  • https://zhuanlan.zhihu.com/p/342032812
  • https://tianchi.aliyun.com/course/304/3532

关于我

dreampai(公众号,简书,知乎同名),专注于 NLP和金融。

在这里插入图片描述

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2021-07-26 12:05:46  更:2021-07-26 12:07:10 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年3日历 -2024/3/29 17:02:38-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码