—0807早上4点多起来把论文正文翻译了一遍，又找了一个杂志请教了一下老师，老师说可以试试投投看，那一会就把那个杂志的所有相关论文找出来读一下，然后根据格式改一改。
吃早饭的时候看了一会知识蒸馏，讲学logits还可以用助教进行学习。后来又讲到对特征进行学习，最好选择相似的网络结构，效果比较好。而且网络结构相似，也方便在大网络做中间做截取，方面模拟。
走在路上，突然想起来GNN还没怎么了解过，也很有兴趣，发现老师的助教也讲过相关可能，希望今天看完知识蒸馏第一集后在空闲时间能看完GNN。**以后也许看看能不能做一个时间序列+GNN的算法，或者已经有相关算法了？
**
本来上午想看太保代码，但是老师说可以投，所以重心需要向论文方面转移。
所以今天上午计划：
- 1、学习太保baseline代码，并跑通
- 2、查找论文模板，相关论文，有时间就读读相关论文，丰富下自己的专业表达。
- 3、玩一玩早上发现的lstm
----0814开始看太保代码了。
1、
args = get_argparse_base()
args = args.parse_args()
argsparse是python的命令行解析的标准模块，内置于python，不需要安装。这个库可以让我们直接在命令行中就可以向程序中传入参数并让程序运行。
2、解决命令行问题
debug发现代码跑不通是因为路径没有通过命令行传进去（我都没有用命令行，怎么可能传进去呢）
用python的 os.system在软件内执行命令行操作。
3、没下载预训练模型
去下载一下
不知道该怎么使用，看了别人的方法，大概懂了。
T5：transformers使用方法
https://zhuanlan.zhihu.com/p/455216504
https://zhuanlan.zhihu.com/p/147144376
4、一直以为是没下载，后来爆出了少library的问题，没想到这个是库的意思，下一个sentencepiece试一下。
这个解决了
5、出现了预训练模型少文件的情况。在下载新的预训练模型后的时候发现还是少。所以再补充，不过还是少，所以在一边直接下载的同时一遍通过下面的连接下载
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tokenizer = AutoTokenizer.from_pretrained("lemon234071/t5-base-Chinese")
model = AutoModelForSeq2SeqLM.from_pretrained("lemon234071/t5-base-Chinese")
在直接下载文件完成后，本来想再在pycharm里跑一个同样的文件，没想到原来的文件直接被中断了，不过好像可以跑了。但电脑也有点卡，准备跑的同时看看代码了。
—0937我去打杯水，回来看看是不是还是龟速前进，实在不行上kaggle了。
–0942这速度怕是这辈子都训不完了
转移到kaggle叭
压缩文件速度不敢恭维，先去找论文了。
—1017这个杂志的论文要求不超过3页我的天，原来的论文得有10多页。数据还没传完，先把早上照的两篇看一下。中午吃饭之前争取改完！！！顺便看看kaggle能不能跑！
—1036读别人的英文论文做积累也是一种享受啊！kaggle数据传完了，试着看看怎么改到能跑。
—1058事情向好的方向发展了，已经在装包了，很不错。装包成功了！先去干饭！
----1212吃完饭回来了，吃饭的时候看完了知识蒸馏的第一节。开了GNN，打算一会看，先在睡觉之前把kaggle上的代码跑通。
—1309
parser.add_argument的参数
https://blog.csdn.net/qq_40520596/article/details/112260228
-----14:45终于让代码泡上了，但是还是有内存不够的问题，把batch调成了4。估计也是预训练的词向量太大了。
正好去做核酸啦。回来再翻译论文了！
----1534做完核酸回来了。看完了图卷积。和中午的知识蒸馏一起总结一下。
知识蒸馏部分：
对于学习logits来说可以请一个助教作为中间商，帮助小模型学习。
另一个方法是可以从batch角度学习不同阶段features或者最终logits的整体结构（可以是角度和距离），从而避免学习的内容过“硬”，死板学习。
GNN部分
1、图是有节点和边的，上面都有特征，而且不同节点还是相互关联的。
2、用NN做图的时候，需要考虑如何去抽取特征（aggression）以及最终如何将整个图进行表示（叫什么out，我忘了）。
3、介绍了各种做aggression的方法，最广泛应用的应该是GAT叭，就是用自注意力机制做神经网络，不用GAN估计是怕和“干”重名，我猜的。
4、第一节结尾介绍了GIN，是一个理论的东西，说明了用每一层的节点做加法代表整层的特征会更好，因为无论是mean还是max都会导致无法specifcly表达的情况。
有个问题，边的属性要不要做嵌入呢？如何更新呢？
—1543看下kaggle跑的咋样
—1609md越看越来气，就运行了100s。查了半天wandb怎么不用交互就可以连上，没啥结果。
一会吃饭的时候，学习一下wandb
翻译论文了
—1627又看了看kaggle，啊啊试了半天，也没办法disable wandb哭哭。看论文了！
—想好好看看那个text2img，但还是没看懂他是怎么to的，所以就。。。摆烂了，看了看标题，明天争取写出个一稿！今天先这样！
---------1758算了，这个比赛的baseline太令人无语了。黑箱太多了。不如之后过了这阵到kaggle上找点比赛做。现在及时止损。明天开始好好写论文。写累了就看课复习课程。
现在做一套大英赛题。
----2049做了一套大英赛题，好累啊。想干什么，又觉得压力有点大呜呜呜。
