| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 人工智能 -> 基于垂直领域语料,使用MaskLM任务预训练Bert模型 -> 正文阅读 |
|
[人工智能]基于垂直领域语料,使用MaskLM任务预训练Bert模型 |
项目介绍使用Mask LM预训练任务来预训练Bert模型。 基于pytorch框架,训练关于垂直领域语料的预训练语言模型,目的是提升下游任务的表现。 代码及示例数据:https://github.com/wzzzd/Pretrain_Bert_with_MaskLM 预训练任务Mask Language Model,简称Mask LM,即基于Mask机制的预训练语言模型。 同时支持 原生的 MaskLM使用来自于Bert的mask机制,即对于每一个句子中的词(token):
Whole Words Masking与MaskLM类似,但是在mask的步骤有些少不同。 在Bert类模型中,考虑到如果单独使用整个词作为词表的话,那词表就太大了。不利于模型对同类词的不同变种的特征学习,故采用了WordPiece的方式进行分词。
模型使用原生的Bert模型作为基准模型。 数据集项目里的数据集来自 数据以行为单位存储。 若想要替换成自己的数据集,可以使用自己的数据集进行替换。(注意:如果是预训练中文模型,需要修改配置文件 自己的数据集不需要做mask机制处理,代码会处理。 训练目标本项目目的在于基于现有的预训练模型参数,如google开源的 环境配置项目主要使用了Huggingface的 可通过以下命令安装依赖包
主要包含的模块如下:
Get Start单卡模式直接运行以下命令
或修改Config.py文件中的变量
多卡模式如果你足够幸运,拥有了多张GPU卡,那么恭喜你,你可以进入起飞模式。🚀🚀 (1)使用torch的
(2)运行程序启动命令
实验结果使用交叉熵(cross-entropy)作为损失函数,困惑度(perplexity)和Loss作为评价指标来进行训练,训练过程如下: Reference【Bert】https://arxiv.org/pdf/1810.04805.pdf 【transformers】https://github.com/huggingface/transformers 【datasets】https://huggingface.co/docs/datasets/quicktour.html |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/1 10:27:19- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |