【GCN】图卷积网络 Graph Convolutional Networks

深度学习自然语言处理 | 每天干货知识,期待与你相遇! 2020/01/16 22:53

来自: 磐创AI

1. Basic

上面左图是2D卷积神经网络,其输入是4行4列的矩阵,通过卷积核逐步移动实现对整个输入的卷积操作;而右图输入是图网络,其结构和连接是不规则的,无法像卷积神经网络那样实现卷积操作,由此提出图卷积网络。

以Zachary’s Karate Club社群为例,其结构如下图所示:

即总共是0~33共34个node,代表34个人,两个node如果有线段连接代表两者关联,否则无关联;这34个人被分为两类,分别是“Officer”和“Mr. Hi”;为便于查看整个网络中每个人与其他人的关联关系,重构关联图如下:

基于上图结构,定义矩阵A(其shape=[34,34])如下, 每一行代表一个Node;

A[0] =[0., 1., 1., 1., 1., 1., 1., 1., 1., 0., 1., 1., 1., 1., 0., 0., 0., 1., 0., 1., 0., 1., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1., 0., 0.],代表第0个node与第1、2、3、4、5、6、7、8、10、11、12、13、17、19、21、31个node关联;

A[11] = [1., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,0., 0.],代表第11个node只与第0个node关联;

A[12] = [1., 0., 0., 1., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.],代表第12个node只与第0、3个node关联;

定义矩阵X(其shape=[34, k],如k=3),每一行代表一个node的3个特征;其初始值随机生成;

定义矩阵W(其shape=[k, 1]),随机参数矩阵;

类别(Label):node[0, 1, 2, 3, 4, 5, 6, 7, 8, 10, 11, 12, 13, 16, 17, 19, 21]是“Mr. Hi”;node[9, 14, 15, 18, 20, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33]是“Officer”;

图卷积网络的propagation如下:

图卷积网络可用于特征表征,即最小化Loss,更新矩阵X和W,其中矩阵X的每一行即为对应node的特征,这和 word2vec 模型很像。

模型地址: https://zhuanlan.zhihu.com/p/88757091

2. More

矩阵A的每一行表示的关联点并不包含其自身,为更好的表达网络结构,定义矩阵AI

AI = A + eye(34);

矩阵AI中值为1.0多的行比少的行在propagation中意味着更大的值,训练时不稳定,容易造成梯度爆炸,由此引入对角矩阵D;

则图卷积网络的propagation修改为:

该式后又优化为:

Notes: D是对角矩阵,此处定义其0元素的负k(k=1.0, 0.5)次方仍是0;

优化前后两者的区别在于:

即优化后,运算时不仅仅考虑D矩阵中node[i]对应的点还考虑了node[j]对应的点;

Loss函数不变,仍为下式:

最小化Loss,更新X和W矩阵,其中X即为特征表征;

3. Other

3.1 X矩阵: 特征表征

3.1.1 Karate Club的三维表征(即X矩阵为三维矩阵,并将其通过pca进行维度转换及降维进行展示)

3.1.2 football的多维(1~5)表征

1D feature representation

2D feature representation

3D feature representation

4D feature representation

5D feature representation

train figure for loss and accuracy

3.2 Semi-Supervised(半监督)

上述讨论中是所有node都是已知的,即其在网络中的关联关系和类别(Label)都是已知的,则矩阵A的shape=[34,34]; 如果有N个node在网络中的关联关系是已知的,但是类别未知,其亦可参与训练,此时矩阵A的shape=[34, 34+N],其它不变,然后进行训练,训练完成后,这N个node的类别是可以被这个训练完的模型预测的。

3.3 多layer多类别的情况

附代码:

https://link.zhihu.com/?target=https%3A//github.com/frank0532/graph_convolutional_networks

原文链接: https://zhuanlan.zhihu.com/p/101005150


相关推荐

更多“GCN”相关内容

新知精选