IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> 自我监督学习和BERT模型 -> 正文阅读

[人工智能]自我监督学习和BERT模型

目录

一、Self-supervised Learning

1、supervised

2、Self-supervised

二、BERT

1、对输入集的处理

2、如何对BERT模型进行训练

3、Next Sentence Prediction

三、如何使用BERT

1、Downstream Tasks

2、使用举例

3、Why does BERT work


一、Self-supervised Learning

1、supervised

对于训练集,需要为其打上标签(lable),才能对模型(Model)进行正常训练。

2、Self-supervised

将训练集x分为两部分,一份作为训练输入数据,另一部分作为lable,输出的y和lable进行比较,越接近就越好。

二、BERT

1、对输入集的处理

BERT多用于自然语言处理部分,即输入大多数是一段文字,当然将语音或者影像都作为输入也是可以的。BERT基于 Transformer 的双向编码器表示,是一个预训练的语言表征模型。

BERT模型在训练的时候,输入一个句子,随机将其中的中文字盖起来。盖住文字有两种方法,一是用特地的代表盖住的符号或者随机用其他文字来将它盖住。

?

2、如何对BERT模型进行训练

BERT模型训练目的是要将被盖住的地方是什么文字,在训练时是BERT和Linear的mode一起进行训练。输出的值经过softmax函数处理,生产特征向量。

3、Next Sentence Prediction

从资料库中拿两个句子出来,用特定的符合对句子进行分割,以便于模型能识别出来是两个不同的句子。

?

[CLS]是用来预测这两个句子是否是相接的,yes代表相接,no不相接。

即预测两个句子是否应该接在一起。

三、如何使用BERT

1、Downstream Tasks

BERT的两个作用,一个是盖住一些输入的数据,二是预测两个句子是否能接在一起。 BERT在Downstream Tasks中发挥重要作用。

?

2、使用举例

输入一个句子,输出一个类别。例如:输入this is good,输出positive。、

CLS输出一个向量,之后乘上一个矩阵,通过softmax判断出类别。

?

输入一个sequence,输出另一个sequence,但二者长度是不一样的。经过BERT模型最后将输入的词汇判断为哪一种类别的词汇。

在BERT的encode部分的参数不是随机初始化,在之前已经找到一组比较好的初始化参数

?

输入两个句子,输出一个类别(以自然语言处理为例子)。给出假设和推论,然后给出两个句子之间的关系,是矛盾、包含或者自然等关系。

只需要将CLS部分输出的乘以Linear矩阵,即决定输出什么类别。需要有标注的资料才能对模型进行训练,BERT同样不是随机初始化。

3、Why does BERT work

输入文字后,输出的向量是每个文字的代表意思(Represent the meaning of word),意思越相近的字,它们的向量就越接近,如果上下文意思不同,同一个字的向量也不同。最后则通过向量关系来对文字进行类别判断。

?

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2022-08-06 10:44:55  更:2022-08-06 10:46:42 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年3日历 -2024/3/29 9:23:12-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码