目录
2021SC@SDUSC
一、项目综述?
- 项目背景
本项目为山东大学软件学院2019级“软件工程应用与实践”课程项目
- 小组成员
吴泽昊、熊静飞、张致晏、刘敬炜
- 课程目标：
下载相关文本分类半监督学习的代码，配置合适的python环境
小组成员分工合作分析项目代码，写出代码分析报告并在csdn发布
记录自己所分析的模型的难点，加以解释
总结每次代码分析的重点和收获
- 项目计划
半监督学习是为了降低监督任务对于标签数据的需求，一种同时有效利用少量已标注数据和大量未标注数据的学习范式。对数据进行预处理，运用反向翻译方法进行数据增强，学习TMix模型，Tmix中的损失函数，学习ablation study的两个方法，分别是different mix layer Set in Tmix 以及Remove Different Parts from MixText。
最终对模型效果进行查看，根据损失函数评估模型，得到实验结果，证明了TMix和MixText模型在标记数据有限时的优质性能，能够显著提升分类准确率、缓解过拟合问题。
二、项目分工
刘敬炜： tf-idf数据增强方法 ，kl散度损失函数 ，在有标签的数据集上进行训练（防止过拟合）防止过拟合的TSA技术，锐化预测（Confidence-based masking）。
熊静飞：回译数据增强方法 ，交叉熵损失函数，使用经过训练的模型来预测无标签数据的标签创造伪标签结合出新的训练数据，锐化预测（Softmax temperature controlling）。
张致晏：运用Mixup方法对数据进行增强，熵最小化进行标签预测，监督损失，了解Mixtext模型，模型的结果分析，移除MixText不同部分。
吴泽昊：使用Bert对文本进行投射，运用文本隐藏插值方法对数据进行增强，加权平均的方法以及锐化技术进行标签预测，插值正则技术，一致性损失，了解TMix 模型，TMix中不同的混合层组测试。
三、项目理解
为克服这一问题，陈佳奥及其团队提出了一种新的数据增强算法TMix。受到图像分类算法Mixup的启发，TMix通过在隐藏空间（hidden space）中对不同的训练样本做线性插值（linear interpolation），从而生成大量新的训练数据，极大地避免了过拟合的产生。
Mixup可以很好地处理连续的图像数据，为将这种线性插值的办法运用到离散的文本数据中，采取了一种巧妙的方式——在文本隐藏空间中进行插值（interpolation）。
给定一个句子，我们经常使用BERT这样的多层模型对句子进行编码，得到语义表示，并在此基础上做出最终的预测。先前的工作表明，可以通过两个隐藏向量的插值解码生成一个新的句子，包含两个原始句子的混合语义。
四、安装及环境调试
anaconda 安装
环境调试，导入项目代码后，对未安装的fire 库，pytorch库进行安装，修改代码报错问题?
?
?
?
到此，安装调试已完成。?
?
?