目录
2021SC@SDUSC
一、项目综述：
-
项目背景：
?本项目为山东大学软件学院2021-2022学年秋季学期“软件工程应用与实践”课程项目
-
小组成员：
网安工学：吴泽昊 、大数据：熊静飞、大数据：张致晏、软工：刘敬炜
-
课程目标：
与指导老师进行沟通交流，下载相应开放项目源代码进行下载、配置、分析并运行出结果。主要任务是小组成员分工协作分析项目源代码，定期给出项目代码分析报告并在博客上进行发布。学习并计录项目代码分析过程中的难点给出解决方法。
-
项目计划
本组项目计划第一篇博客对选题“文本分类半监督学习”进行结构化的介绍，首先进行项目环境的配置安装、学习nlp领域的BERT模型（Google团队新发布的BERT模型，一种对预训练的语言模型的应用），并且学习使用模型1UDA（半监督数据增强）半监督学习方法辅助BERT模型进行半监督文本分类模型的训练，最后学习使用模型2MixText辅助训练。
-
任务目标
使用BERT、UDA、MixText等解决半监督文本分类问题的已开源模型，在给定?IMDB、?AG-news、DBpedia、中文专业主观题数据集上进行训练和测试。
?
-
任务分配
刘敬炜：?tf-idf数据增强方法?，kl散度损失函数?，在有标签的数据集上进行训练（防止过拟合）防止过拟合的TSA技术，锐化预测（Confidence-based?masking）。
熊静飞：回译数据增强方法?，交叉熵损失函数，使用经过训练的模型来预测无标签数据的标签创造伪标签结合出新的训练数据，锐化预测（Softmax?temperature?controlling）。
张致晏：运用Mixup方法对数据进行增强，熵最小化进行标签预测，监督损失，了解MixText模型，模型的结果分析，移除MixText不同部分。
吴泽昊：使用Bert对文本进行投射，运用文本隐藏插值方法对数据进行增强，加权平均的方法以及锐化技术进行标签预测，插值正则技术，一致性损失，了解TMix?模型，TMix中不同的混合层组测试。
二、项目简介
深度学习时代，研究表明有监督学习表现出极佳的性能,?但是当数据只有有限的少量标签时，监督学习就会出现过拟合，对有标签数据的强烈依赖极大的限制了深度学习项目的落地,?而且打标签的过程会需要大量的时间，金钱和专业的人员，?因此半监督学习受到关注。此半监督文本分类项目是输入少量具有类别标记的文本集合，以及大量无标记文本。训练半监督文本分类模型。预测输出对于无标记文本集合的类别标记。
三、环境的部署配置
-
安装anaconda
Anaconda?常在机器学习中使用，它使用起来比较方便的地方在于它预装了很多第三方库，且增加了conda?install命令。我们可以在Anaconda中配置多个版本的python虚拟环境且多个环境之间版本配置等不同相互独立。（已安装不附图）
-
显卡配置
首先查看支持CUDA的GPU显卡型号。打开任务管理器：
下载CUDA:?
根据CUDA版本选择下载相对应的cudnn:
将cudnn中文件复制到cuda中完成显卡的配置
-
安装pytorch?
进入pytorch官网，按照自己的版本配置需要进行选择
验证是否安装成功：
打开文本分类半监督学习（以UDA为例）进行项目相关包的导入
至此项目代码的环境部署圆满结束。?