【新智元导（dǎo）读】图神经网（wǎng）络(Graph NN)是近来的一大（dà）研究热点，尤其是DeepMind提（tí）出的（de）“Graph Networks”，号称有（yǒu）望让（ràng）深度学习实现因果推理。但这篇论文晦涩难懂，复星集团首席AI科学家、大数医达创始人邓侃博（bó）士（shì），在清（qīng）华（huá）俞士纶教授团队对GNN综述清晰分类（lèi）的（de）基础（chǔ）上，解析DeepMind“图网络”的意义。

- 1 -

回顾 2018 年机器学习的进展，2018年6月（yuè） DeepMind 团（tuán）队（duì）发表的论文

“Relational inductive biases, deep learning, and graph networks”

，是一篇重要的论文，引起业界热（rè）议（yì）。

随后，很（hěn）多学者沿着他（tā）们（men）的思路，继续研究，其中包括（kuò）清华大学孙茂（mào）松团队。他们于（yú）2018年12月，发表了一篇综述，题（tí）目是（shì）“Graph neural networks: A review of methods and applications”。

2019年1月，俞士纶教授团（tuán）队，也写了一篇综述，这篇综述的覆盖（gài）面（miàn）更全面，题（tí）目是“A Comprehensive Survey on Graph Neural Networks”。

俞士（shì）纶教授团队（duì）综述GNN，来（lái）源：arxiv

DeepMind 团队的这篇论（lùn）文（wén），引起业界这么热烈的关注（zhù），或（huò）许有三个原因：

声望（wàng）：自从 AlphaGo 战胜李世乭（tol）以（yǐ）后，DeepMind 享誉业界（jiè），成为机器学习业界的领军（jun1）团队，DeepMind 团队发表的论（lùn）文，受到同行普遍关注；

开源：DeepMind 团队发表论文 [1] 以后不久，就在 Github 上（shàng）开源了他（tā）们开发（fā）的软件系统，项目名称叫 Graph Nets [4]；

主题：声望和开源（yuán），都很（hěn）重要，但是并不是被业界（jiè）热议的最主要的（de）原因。最主要的原因是主题，DeepMind 团队研（yán）究（jiū）的主题是，如（rú）何用深度学习方法处理图谱。

- 2 -

图（tú）谱 (Graph) 由点 (Node) 和（hé）边 (Edge) 组成。

图谱是一个重（chóng）要的数（shù）学（xué）模型，可以用来解决很（hěn）多问（wèn）题。

譬（pì）如我们把城市地铁线路图当成图谱，每个地铁站就是（shì）一个点，相邻的地（dì）铁（tiě）站之间（jiān）的连线就（jiù）是边，输入起点（diǎn）到终点，我们可以通过（guò）图谱的计算，计算出从起（qǐ）点到终点，时（shí）间最短、换（huàn）乘次数最少的（de）行程路线。

又譬（pì）如 Google 和百度（dù）的搜索引（yǐn）擎（qíng），搜索引擎（qíng）把世界（jiè）上每个网站的每个网页，都当成图谱中（zhōng）的一个点。每个网页里，经（jīng）常会有链接，引（yǐn）用其它网站的（de）网（wǎng）页，每个链接都是（shì）图谱中（zhōng）的（de）一条边（biān）。哪个网页被（bèi）引用得（dé）越（yuè）多，就说明这个网页越（yuè）靠谱（pǔ），于是，在搜索（suǒ）结果的（de）排名也就越靠前。

图谱（pǔ）的操作，仍然有许多（duō）问（wèn）题有待（dài）解（jiě）决。

譬如输入几亿条滴滴（dī）司机行进的路线，每条（tiáo）行进路线是按时（shí）间排（pái）列的（de）一连串（时间（jiān）、GPS经纬度）数组（zǔ）。如何（hé）把几亿条行进路线，叠（dié）加在一起（qǐ），构建城（chéng）市地图？

不妨把地（dì）图（tú）也当成一个（gè）图谱，每个交叉路口，都是一个点（diǎn），连接相邻的两个交叉路口，是一条边。

貌似很简单，但是细节很麻（má）烦。

举个例子，交叉路口有很多形式，不仅有十字路口，还（hái）有五角（jiǎo）尝六（liù）道（dào）口，还有环形道立（lì）交桥——如何从多条路径（jìng）中，确定交叉路口的中（zhōng）心位置？

日本大阪天保山立交桥，你能确定这座（zuò）立交桥（qiáo）的中心位置吗（ma）？

- 3 -

把深度学习，用来处（chù）理图（tú）谱，能够扩大我们对图谱的处（chù）理能力。

深度学习在图像和文本的处理方（fāng）面，已经取得了（le）巨（jù）大的成功。如（rú）何扩大深度学习的成果，使之应用于图（tú）谱处理？

图像由横平竖直（zhí）的像素矩阵组成。如果换一（yī）个（gè）角度，把每个像素视为图谱（pǔ）中的一个点，每个像素（sù）点与它周边的 8 个相邻像素之（zhī）间都有边，而且每条边都等长（zhǎng）。通（tōng）过这（zhè）个视角，重新审视（shì）图像，图（tú）像（xiàng）是广义图谱的一个特例。

处理（lǐ）图像（xiàng）的诸（zhū）多深度学习手段，都可（kě）以（yǐ）改头换面，应用于广义的图谱，譬如 convolution、residual、dropout、pooling、attention、encoder-decoder 等等。这（zhè）就是深度（dù）学习图谱处理的最（zuì）初想法，很朴实很简（jiǎn）单。

虽然最初想法很简单，但是深入到（dào）细节，各种（zhǒng）挑战层出不穷。每种挑战，都（dōu）意味着更（gèng）强大的技术（shù）能（néng）力（lì），都（dōu）孕育着更有潜力的应用场景。

深度学习图谱处理这个研（yán）究方（fāng）向，业界没有统一的（de）称谓。

强调图谱的数（shù）学（xué）属性（xìng）的团队，把这个研（yán）究方（fāng）向命名为 Geometric Deep Learning。孙茂松（sōng）团（tuán）队和俞士纶团队，强调神经（jīng）网络（luò）在图谱处理中的重要性，强调思想来源，他们把这（zhè）个（gè）方向命名为 Graph Neural Networks。DeepMind 团队却反对绑定特定技术手段，他们使用更抽象的名称，Graph Networks。

命名（míng）不那么重要（yào），但是（shì）用哪种方法去（qù）梳理这个领域的诸多（duō）进展，却很重要。把各个学派（pài）的目标定位（wèi）和（hé）技术方法，梳理清楚，有利于加强同行之间的相互理解，有（yǒu）利于（yú）促进同行之（zhī）间的未（wèi）来合作。

- 4 -

俞士纶团（tuán）队把深度学习图谱处理的诸多进展，梳理成 5 个（gè）子方向，非常清（qīng）晰（xī）好（hǎo）懂。

俞士纶团队把深度学习图（tú）谱处理梳理成 5 个子方向，来源：论文 A Comprehensive Survey on Graph Neural Networks

Graph Convolution Networks

Graph Attention Networks

Graph Embedding

Graph Generative Networks

Graph Spatial-temporal Networks

先说 Graph Convolution Networks (GCNs)。

GCN 类（lèi）别汇总，来源：论文 A Comprehensive Survey on Graph Neural Networks

GCN 把 CNN 诸般武器，应用于广义图谱。CNN 主要分为四个任务，

点与点之间的融合。在图像领域，点与点之（zhī）间的融（róng）合（hé）主要通（tōng）过卷积技术 (convolution) 来（lái）实现。在广义图谱里，点与点之间的关系（xì），用边来表达。所以，在广义（yì）图（tú）谱里，点点融合（hé），有比卷积更强大的办法。Messsage passing [5] 就是一种更强大的（de）办法。

分（fèn）层抽（chōu）象。CNN 使用 convolution 的办法，从原始像（xiàng）素矩阵中，逐（zhú）层提炼出更精炼更抽象的（de）特征。更高层的（de）点（diǎn），不（bú）再是孤（gū）立的点，而（ér）是融合了（le）相邻（lín）区域中其它点的属性。融合邻点的（de）办（bàn）法，也（yě）可以应用于广（guǎng）义图谱中（zhōng）。

特征提（tí）炼。CNN 使用 pooling 等手段（duàn），从相邻原始像素（sù）中，提（tí）炼边（biān）缘。从相（xiàng）邻边缘（yuán）中（zhōng），提（tí）炼实体轮廓。从相邻实体中，提炼更高层（céng）更抽象的实体。CNN 通常把 convolution 和 pooling 交替使用，构（gòu）建结构更复杂，功能更强大的神经网（wǎng）络。对于广（guǎng）义图谱，也可以融汇（huì） Messsage passing 和 Pooling，构建多层图谱。

输（shū）出（chū）层。CNN 通常（cháng）使用 softmax 等手段，对整张图（tú）像（xiàng）进行分类，识别图（tú）谱（pǔ）的语（yǔ）义内涵。对于广义图（tú）谱来说（shuō），输出的结果更多（duō）样，不仅可以（yǐ）对于（yú）整（zhěng）个（gè）图谱，输出分类等等结果。而且也可以（yǐ）预测（cè）图谱中某个特（tè）定的点（diǎn）的值，也可以预（yù）测某条边的值（zhí）。

GCN 和Graph Attention Networks 的区别来源（yuán）：论文（wén） A Comprehensive Survey on Graph Neural Networks

Graph Attention Networks 要（yào）解决的问题，与 GCN 类似，区别在于点（diǎn）点融合、多层抽象的方法（fǎ）。

Graph Convolution Networks 使用卷（juàn）积方式，实现（xiàn）点点融合和分层抽象（xiàng）。Convolution 卷积方式仅（jǐn）仅适用于融合相邻（lín）的点，而 attention 聚焦（jiāo）方式却不限于（yú）相邻的（de）点（diǎn），每个点可以（yǐ）融合整（zhěng）个图（tú）谱（pǔ）中（zhōng）所有（yǒu）其它点，不管是否相邻，是（shì）否（fǒu）融合如何融（róng）合，取（qǔ）决于点与点之间的关联强弱。

Attention 能力（lì）更强大（dà），但是对（duì）于算力（lì）的（de）要求（qiú）更高，因为需要计（jì）算整个图谱中（zhōng）任（rèn）意两（liǎng）个点之间的关联强弱。所以（yǐ） Graph Attention Networks 研究的重（chóng）点，是如何降低计（jì）算成本，或者通过（guò）并（bìng）行计算，提高计算效率。

- 5 -

Graph Embedding 要解决的问题（tí），是给图谱中每个（gè）点每条边（biān），赋（fù）予（yǔ）一个数（shù）值张量。图像不存（cún）在（zài）这个问题，因为像素（sù）天生（shēng）是数（shù）值张（zhāng）量。但（dàn）是，文本由文字词汇语句段落构成（chéng），需要把文字词汇，转化（huà）成数值张量，才（cái）能使（shǐ）用深度学习的（de）诸多算法（fǎ）。

如（rú）果把文（wén）本中的每个文字或词汇，当（dāng）成图谱中的一个点，同（tóng）时把词与（yǔ）词（cí）之间的语法语（yǔ）义关系，当成图谱中（zhōng）的一条边（biān），那（nà）么语句和段落，就等同于行走在文本图谱中的一条行（háng）进路径（jìng）。

如（rú）果（guǒ）能（néng）够给每个文字和（hé）词汇，都赋（fù）予一个贴切的（de）数值张量，那么语句和段落（luò）对应的（de）行进路径，多半是最短路径。

有多种实现 Graph Embedding 的办法，其中效（xiào）果比较好的（de）办（bàn）法是 Autoencoder。用 GCN 的办法，把图（tú）谱的点和边转换成数值张量，这个过程称为编（biān）码 (encoding)，然后（hòu）通过计算点与点之间的距离，把数值张量集合，反转为图谱，这个过程称（chēng）为解（jiě）码 (decoding)。通过（guò）不断地调（diào）参，让（ràng）解码得到的图谱（pǔ），越来越（yuè）趋近（jìn）于原始图谱，这个过程称为训练。

Graph Embedding 给图谱中的每个点每条边，赋予贴（tiē）切（qiē）的数值张量，但是它不（bú）解决图（tú）谱（pǔ）的结构（gòu）问题（tí）。

如果输入大（dà）量的图谱（pǔ）行进路（lù）径，如何从（cóng）这（zhè）些（xiē）行（háng）进路径中，识别哪些点与哪些（xiē）点（diǎn）之间有连（lián）边？难度（dù）更大的问（wèn）题是（shì），如果没（méi）有行进路径，输入（rù）的训练数据是图谱的局部，以及与之对应的（de）图（tú）谱的（de）特性，如何（hé）把局部拼接成（chéng）图谱全貌？这（zhè）些问题是 Graph Generative Networks 要（yào）解决（jué）的问（wèn）题。

Graph Generative Networks 比较有潜力的实现（xiàn）方法，是使用 Generative Adversarial Networks (GAN)。

GAN 由生成器 (generator) 和辨别器 (discriminator) 两部分构成：1. 从训练数（shù）据中，譬如海量行进（jìn）路径，生成（chéng）器猜（cāi）测数据背后的图（tú）谱（pǔ）应该长什么样；2. 用生（shēng）成出来（lái）的图谱，伪造一批行进路（lù）径；3. 从大量（liàng）伪造的路径和真实的路（lù）径中，挑选几条路径，让辨别器识（shí）别哪几条路径是伪造的。

如果辨别器傻傻分不清谁是伪（wěi）造路（lù）径，谁是真实路（lù）径，说明生成（chéng）器生成出的图（tú）谱，很接近于真实图谱。

GCN 以外的其他 4 种图谱神（shén）经网络（luò），来源：论文 A Comprehensive Survey on Graph Neural Networks

- 6 -

以上我们讨论了（le）针对静态图谱的若干问题，但是图（tú）谱有时候（hòu）是（shì）动（dòng）态的，譬如地图（tú）中表现的道路是（shì）静态的（de），但是路况（kuàng）是动态（tài）的。

如何预测（cè）春（chūn）节期（qī）间，北京天安（ān）门附近的交通拥（yōng）堵情况（kuàng）？解决（jué）这个问题，不仅要考虑（lǜ）空间 spatial 的因素，譬如天安门周边的（de）道（dào）路（lù）结构，也要考虑时间 temporal 的因素，譬（pì）如往年春节期间该地区交通拥堵情况。这就是 Graph Spatial-temporal Networks 要解（jiě）决的问（wèn）题之一。

Graph Spatial-temporal Networks 还能解决其它问题，譬如输入一段踢球的视频，如何在每一帧（zhēn）图像中，识别足球的位置？这个问题的难点在于，在视频的某些帧中，足球有可能（néng）是看不见的，譬如（rú）被（bèi）球员的腿遮（zhē）挡了（le）。

解（jiě）决时（shí）间序（xù）列问题的通（tōng）常思路，是 RNN，包括 LSTM 和（hé） GRU 等等。

DeepMind 团队（duì）在 RNN 基础上，又添加了编（biān）码（mǎ）和解码（mǎ） (encoder-decoder) 机制（zhì）。

- 7 -

在 DeepMind 团队（duì）的这篇论文里[1]，他（tā）们（men）声称自己（jǐ）的工作，“part position paper, part review, and part unification”，既是提案，又是综（zōng）述，又是融合。这话怎么理（lǐ）解（jiě）？

DeepMind联合谷歌大脑、MIT等机构（gòu）27位作者（zhě）发表重磅论文，提出“图网络”（Graph network），将端到端（duān）学（xué）习与归纳推理（lǐ）相（xiàng）结合，有（yǒu）望解决深度学习无法进行关系（xì）推理的问题。

前（qián）文（wén）说到（dào），俞士纶团队把深（shēn）度学习图谱处理的诸多进展，梳理成（chéng） 5 个子方向：1) Graph Convolution Networks、2) Graph Attention Networks、3) Graph Embedding、4) Graph Generative Networks、5) Graph Spatial-temporal Networks。

DeepMind 团队在 5 个子方向中着（zhe）力（lì）解决后 4 个方向（xiàng），分别是 Graph Attention Networks、Graph Embedding、Graph Generative Networks 和 Graph Spatial-temporal Networks。他们（men）把这四个方向的成果，“融合（hé）”成统一的（de）框架，命名为 Graph Networks。

在他们（men）的（de）论文中，对这个四个（gè）子方向沿途的诸多（duō）成（chéng）果，做了（le）“综述”，但（dàn）是并没有综述 Graph Convolution Networks 方（fāng）向（xiàng）的成果。然后他们从这四个（gè）子方向的诸（zhū）多成果中，挑选出了他（tā）们认为最有潜力（lì）的方法，形成自（zì）己的“提案”，这就（jiù）是（shì）他们开源的代码 [4]。

DeepMind在2018年10月（yuè）开（kāi）源的Graph Nets library，用（yòng）于在（zài）TensorFlow中（zhōng）构建简单而强大的关系推理（lǐ）网络。来源：github.com/deepmind/graph_nets

虽然论文中，他们声称他们的提（tí）案解决了四个子方向（xiàng）的问题，但是查看他（tā）们开源的代码，发现其实他们着（zhe）力（lì）解决的（de）是后两个（gè）子（zǐ）方向，Graph Attention Networks 和 Graph Spatial-temporal Networks。

DeepMind 的思路是（shì）这样（yàng）的：首先，把 [5] 的 message passing 点点融合的（de）机制，与 [6] 图谱全局的（de）聚焦机（jī）制相结合，构（gòu）建通用的 graph block 模块；其次，把 LSTM 要素融进（jìn） encoder-decoder 框架，构（gòu）建时间序列机制；最后，把（bǎ） graph block 模块融进 encoder-decoder 框架，形成 Graph Spatial-temporal Networks 通用系统。

- 8 -

为什么（me） DeepMind 的成果（guǒ）很（hěn）重要？事关四件大事。

一、深度（dù）学（xué）习过程的解释

从原理上讲，深度学习（xí）譬如 CNN 的成果，来自于对图像的不断（duàn）抽象（xiàng）。也（yě）就（jiù）是，从原始的像素（sù）矩阵（zhèn）中，抽（chōu）象出（chū）线段。从首尾相连（lián）的相邻线段（duàn）中，抽象出实体的轮廓。从轮廓抽象出（chū）实体，从实体抽象出语义。

但是（shì），如（rú）果窥探 CNN 每一层（céng）的中间结果，实际上很难明确，究（jiū）竟（jìng）是哪一（yī）层的（de）哪些节点（diǎn），抽象出了轮廓，也（yě）不知道哪一层的哪些节点，抽象出了实体。总而言之，CNN 的网络结构是个迷（mí），无法（fǎ）明（míng）确地解释网络结构隐藏的工作过程的细节。

无法解释工（gōng）作过程的细节，也就谈不上（shàng）人为（wéi）干预。如果 CNN 出了问题，只好（hǎo）重新训练（liàn）。但重新训练后的（de）结果，是否能（néng）达到期待（dài）的效果，无（wú）法事先语料。往（wǎng）往按（àn）下葫芦浮起瓢，解（jiě）决了这（zhè）个缺陷，却引发了其它（tā）缺陷。

反过（guò）来说（shuō），如果能明确地搞（gǎo）清楚（chǔ） CNN 工作过（guò）程（chéng）的（de）细节，就（jiù）可以有（yǒu）针对性地（dì）调整（zhěng）个别层次的个别节点的参数，事先人为精准干预。

二、小样本学习

深度（dù）学（xué）习依赖训练数据，训（xùn）练数据（jù）的规模通常很大，少（shǎo）则几（jǐ）万，多大几百万。从（cóng）哪里收集（jí）这（zhè）么多训练数（shù）据，需要组织多少人（rén）力去对训练数据进行标注（zhù），都是巨大挑战。

如果对深度（dù）学习（xí）的过程（chéng）细节，有更清晰的了解（jiě），我们就可以改善卷积这（zhè）种蛮力的做法，用更少的训练数据（jù），训练更轻巧的深度学习模型。

卷（juàn）积的过程，是蛮力的（de）过程，它对相（xiàng）邻的点（diǎn），无一（yī）遗漏（lòu）地不分青（qīng）红皂白地进行卷（juàn）积处理（lǐ）。

如（rú）果我们（men）对点（diǎn）与点之间（jiān）的关联关系，有更明确的了解，就（jiù）不需要对相（xiàng）邻的点（diǎn），无（wú）一遗漏地不分青红皂白地（dì）进行卷积处理。只需要对有关（guān）联的点，进（jìn）行卷积或者其它（tā）处理。

根据（jù）点（diǎn）与点之间的关联关系，构建出来的网（wǎng）络，就是广义图谱（pǔ）。广义图谱的结构，通常比 CNN 网络更加简单，所以，需要的（de）训练数据量也更少。

三、迁（qiān）移学习和推理

用当今的 CNN，可以从（cóng）大量图（tú）片（piàn）中，识别（bié）某种（zhǒng）实（shí）体（tǐ），譬如猫。

但是，如果想（xiǎng）给识别猫的 CNN 扩大能（néng）力，让它（tā）不仅能识别猫，还能识别狗，就需要（yào）额外的（de）识别狗的（de）训练数据（jù）。这是（shì）迁移学习的（de）过程。

能（néng）不能不提供额外（wài）的识（shí）别狗的训练数据，而（ér）只是用规则这（zhè）样（yàng）的方式，告诉电脑猫与（yǔ）狗（gǒu）的（de）区别，然（rán）后让（ràng）电脑识别狗？这是推（tuī）理（lǐ）的目标。

如果对深度学习过程（chéng）有更精（jīng）准的了解，就能（néng）把知识和（hé）规则，融进深度（dù）学习（xí）。

从广（guǎng）义范（fàn）围（wéi）说，深度学（xué）习和知识图谱，是机器学习（xí）阵营中诸多学派的两大主流学（xué）派。迄今为止，这两大（dà）学（xué）派（pài）隔岸叫阵，各有胜负。如何（hé）融（róng）合两大（dà）学派（pài），取长补短，是（shì）困扰学界很久的难题。把深度学习延伸到图（tú）谱处理，给两（liǎng）大学派（pài）的融合，带（dài）来了希望。

四、空间和时间的（de）融合，像素与语（yǔ）义的（de）融合

视频处理，可（kě）以说是深度（dù）学习的最高境界。

视频处理（lǐ）融合了图像的空间分割，图（tú）像中实体（tǐ）的识别，实体对应的语义理解。

多帧静态图（tú）像串连（lián）在一起形成视频（pín），实际上是时间（jiān）序列。同一个实体，在不同帧中所处的位置（zhì），蕴（yùn）含着实体（tǐ）的运（yùn）动（dòng）。运（yùn）动的背后（hòu），是物理（lǐ）定律和语义关联。

如何从一段视频（pín），总结出文本标（biāo）题。或者（zhě）反过来，如何根据一句文（wén）本（běn）标题（tí），找（zhǎo）到最贴切的视频。这是视频处理的经（jīng）典任务，也是难度超大的任务。

参考文献

Relational inductive biases, deep learning, and graph networks，https://arxiv.org/abs/1806.01261

Graph neural networks: A review ofmethods and applications，https://arxiv.org/abs/1812.08434

A Comprehensive Survey on Graph Neural Networks，https://arxiv.org/abs/1901.00596

Graph nets，https://github.com/deepmind/graph_nets

Neural message passing for quantum chemistry，https://arxiv.org/abs/1704.01212

Non-local neural networks，https://arxiv.org/abs/1711.07971