IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> NIPS 22: GGD Rethinking and Scaling Up Graph Contrastive Learning -> 正文阅读

[人工智能]NIPS 22: GGD Rethinking and Scaling Up Graph Contrastive Learning

Chat

文章是莫纳什 潘世瑞组的,(已经于今年暑期从莫纳什前往昆士兰),ARGA作者,这个组关于图对比学习的文章挺多,但是开源文章较少

本文rank:

读起来很吸引人,motivation也很自然,个人认为是自从2019DGI出来之后,在DGI上认真考虑并修改的工作,揭示了DGI成功的原因。而并非采用不同增强的方法,或者借鉴cv方向对比学习的方法进行修改。
亮点: O1复杂度,1epoch就可以训练,取消判别器D训练损失提高可扩展,给出理论证明s(图级表征)的上下界
文章不足: OGB-arxiv可以full-batch,products,papers100M 仍然采用了graphsage进行采样,只是一定程度上增强了可扩展性,相较于aaai22 那篇sugrl在这方面还是不足

知识盲区

关于复杂度的知识,本文有提及: InfoNce损失 O(ND) JSD 损失是 O(D) BGRL(BYOL在graph上的扩展)和GBT(barlow twins在graph上的扩展) 取消了 负样本,但是相似性计算 仍然会让复杂度变成 O(D)

本文方法 GGD (graph group discrimination)

1. 出发点

本文从 不恰当的激活函数 sigmoid出发,探究DGI。 DGI通过最大化节点和图级表征s之间的互信息,从而成为对比学习在graph上的paradigm。
在这里插入图片描述
DGI存在的问题:DGI并不能像作者想象的那样来最大化互信息,DGI获得s的方法是 求平均,并会采用sigmoid激活。但是DGI的GNN(GCN)权重初始化采用 Xavier初始化,这样会使得 s 这个图级向量 都会接近于相同的数值 εI,ε是一个常数,I是一个全1向量
在这里插入图片描述
这个现象是实验得出的,作者提出定理1来进一步论证:
在这里插入图片描述

通过修改ε,作者从0变为1,做了以下实验,这些实验,表明这个s其实并没有多大作用 trivial。那么DGI的假设:通过对比h和s似乎并不是真正成功的原因

在这里插入图片描述

重点修改:

从上面来看 这个s很小作用,并且最终常常趋近于epsilonI,因此作者采用I(全1,epsilon=1)来直接代替这个s。这样做的好处: 不需要鉴别器了!!! 鉴别器D是一个基于bilinear的打分,需要对于每个节点和s进行打分,这个在样本对之间的乘法 通常会在前向和反向传播 消耗很多,
在这里插入图片描述
因此 DGI的损失成为:
在这里插入图片描述
其中,sum(zi)是因为zi (1D) 和s相乘,而s=1(D1),因此,表达的含义就是 zi的元素之和。 作者对于这个聚合也进行了变分,采用mean max linear来学习这个zi和s的结合方式 linear就说输出1D变成 11
在这里插入图片描述
sum和linear比较好

和DGI的对比,显著减小内存,Pubmed居然才需要 1629MB!!! 时间上也更快

基于上面的sum公式1,本文提出简化版的 BCE的DGI
在这里插入图片描述
是一种二元交叉熵的形式,当节点属于原来的图,yi=1,节点属于被 破坏的图,yi=0, 这样的形式 就是 将两个图的所有节点进行 对比,判断h是原图还是被破坏的图,节点节点之间的对比:称为 group discrimination
在这里插入图片描述
在这里插入图片描述

MVGRL的实验,进一步说明 group discrimination

在这里插入图片描述
MVGRL通过diffusion 来augmented graph,从而多个视图之间进行对比,作者修改了他们的损失,形成bce MVGRL,也是ok的, ,,, 因为 这是 DGI的变分,也是采用了h和s之前最大化互信息

本文的model

在这里插入图片描述

1. 通过边和节点drop来增强

注意 这里不是来获得多个增强的视图进行对比,而是 每一轮 不同的增强视图 会增加鲁棒性

2. Corrupt

和 DGI一样,成行shuffle X

3.Siamese GNN = GNN encoder+projector

本文采用GCN作为encoder, projector是自定义的多层linear layers。 共享的GNN来输出 原图和 corrupt之后图的节点表征。 在进行第四步之前,所有样本先要采用相同的 聚合方式(sum mean max linear) hi=sum(zi)

4.group discrimination

BCE损失,yi=1,原图。 yi负样本。 采用hi和yi进行bce损失

在这里插入图片描述

tricks

在这里插入图片描述
GNNencoder 输出的H,通过几次 和邻接矩阵相乘 获得增强的H,和原来的H进行之和,从而进行下游任务

discussion

NCE和JSD损失

nce的分子 对于节点i需要zi和ci相乘1次,分母需要zi和整体相乘 整体一共N次,两个向量zi 1d和 ci 1d相乘 需要耗费 O(D)次。因此 InfoNCE整体是 O(ND) 。
JSD对于每个节点不需要 N个负样本进行对比,但是 判别器还是需要 zi和ci相乘 O(D)。
在这里插入图片描述

BRGL和GBT

BRGL 通过 最大化zi和hi余弦相似性(负号),只用关注自身(自己和自己对应的拉)
GBT 基于相关性,GBT的损失就类似于一个 协方差矩阵 ii越大越好,ij越小越好。
但这两个损失还是包括 了 两个向量相乘。和JSD一样是O(D)。
本文是 h和一个常量相乘,就相当于是 把 乘法变成 做加法。
在这里插入图片描述

由于是乘法问题,这里是通过加法,是否两个向量 做减法,能够相似性呢?--------- 引出了 基于margin loss的对比损失 aaai22 和接下来 要写的一篇文章subCon–icdm

实验

在这里插入图片描述
full-batch下,特别 节约内存
在这里插入图片描述
基于采样:graphsage
在这里插入图片描述

在这里插入图片描述

采样的超参数设置

在这里插入图片描述

丢掉D,如何来进行节点对之间的相似性判断,往前追溯,对比学习就是有度量学习的影子,如何判断表征之间的相似性问题 (内积–余弦,采用bilinear–dgi,采用margin—做减法,采用拼接–contact linear输出)

Proof of Theorem1

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2022-09-24 20:57:15  更:2022-09-24 21:00:31 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/25 23:47:14-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码