从传统图引擎到GNN：计算图和机器学习的演变

向右看齐 2022-12-29 09:48 149阅读 0赞

![format_png][]

全文共**2780**字，预计学习时长**7**分钟

![format_png 1][]

图源：Google

为什么我对深度学习的关注重点转向图神经网络？”是因为数据结构还是高效计算？一切都从图的结构以及它们如何解决关系问题和支持分布式计算开始。

当将相同的结构应用于最先进的机器学习算法时，进化才真正发生。从简单的矩阵分解和线性回归算法到图形神经网络（GNN）的实现，我们都可以观察到技术的发展。

本文将详细介绍图、图的优势以及图在机器学习框架中的实现方式。笔者还将讨论图的兼容性和随着时间如何进化。

![format_png 2][]

**图**

图是能够共同定义信息的关系型数据结构。它是非线性节点和链接的汇编。LinkedIn和Facebook社交网络、Netflix电影结构、谷歌地图和路径优化之类的真实信息只能由图形表示。让我们以家谱为例：

![format_png 3][]

每个家族成员都是家族树图（G）中的一个顶点（V），其关系由边（E）定义。如果要提取有关特定家庭成员的信息，则还必须知道他/她的关系，否则数据似乎不完整。每个节点和链接都有各自的意义和数据。同样，可以用许多不同的方式来表示相同的图，也可以使用不同的链接值自下而上绘制祖先图。

计算图

计算图是具有方程式数据的图。它们是表示数学表达式的有向图的一种形式。一个非常常见的示例是后缀、中缀和前缀计算。图中的每个节点都可以包含运算，变量或方程式本身。这些图出现在计算机中进行的大多数计算中。

![format_png 4][]

图的优点

图提供了代表许多现实问题的独特结构。与典型的表或矩阵不同，该顺序的优先级并不高。每个元素都相互依赖以形成关系。这种关系是所有假设和基于此的预测的核心。它的优点是：

·        节点链接结构-图的独特的节点链接结构可以存储很多信息。基于网络和关系的问题只能以这种格式表示。尽管存在矩阵、树形图之类的其他结构来表示图，但主要构成要优先。

·        分布式计算-单个核心或系统无法处理数十亿个节点/元素的巨大问题。分布式计算可以直接在图中实现的事实，节省了大量计算，并降低了时间复杂度。

·        关系问题-通常使用包含独立输入值及其各自输出标签的数据集。如果想根据最近的手表、喜爱的演员、音乐等为自己预测电影，该怎么办？

这是一个只能通过图形解决的关系问题。即使通过无监督学习进行尝试，也可以预测集群，但不能预测确切的标签或联系。我们将尝试并简要了解Netflix电影预测中的一个这样的问题：

想象类型、演员、语言、发行日期作为图的主要节点。许多电影根据其标签链接到上述节点。根据电影的不同，笔者会存储首选的属性节点。Netflix利用个性化视频排名（PVR）算法，根据所存储的图形数据按照流派、标题来预测电影。

在每种流派或标题中，它都再次应用了Top-N Video Ranker算法，该算法混合了流行选择和个人选择来预测电影。

机器学习中的图

所有的神经网络都是计算图。不仅这些而且线性回归等算法也可以以图的形式表示。传统图和神经网络之间的主要区别是实现。神经网络倾向于模仿计算图进行训练，但无法处理类似图的数据。他们需要结构化的数据才能正常工作。让我们根据神经网络中的正向传播来理解它。

![format_png 5][]

假设这是8个节点和16个链接的图形。x1和x2输入神经元（节点）紧密连接到隐藏层节点。然后将这些节点类似地连接到输出层。x1，x2中的值将传输到隐藏层。隐藏层执行A=WX+B。连接隐藏层和输出层的链接激活这些值。它们的方程是H = function（A）。在输出层中也执行类似的过程。

总体而言，该图能够表示神经网络中正向传播的方程。

![format_png 2][]

**进化**

在完成基础知识之后，我们将继续探讨图神经网络(GNN)的形成原因及其与人工神经网络(ANN)的不同之处。

如今，机器学习在许多自动化行业中都存在，并为许多组织和研究提供了最先进的结果。分布式图的计算源于高效的并行计算，稳定的图结构以及许多现实生活中的应用程序的实现，例如社交网络、知识图等。将这两种技术结合在一起将带来巨大的收益，并为更好的开发和效率带来了新的研究领域。

图引擎框架

已经进行了许多尝试来弥合图和机器学习算法之间的差距。图缺乏训练这些算法必不可少的属性。在将图计算和机器学习相结合时，缺乏对循环、异构性和数据一致性方面的支持，数据抽象是关注的主要主题。

诸如TUX2和GraphLab之类的图形引擎框架提出了解决某些问题的模型。他们成功地将分布式图形计算与矩阵分解、Latent Dirichlet分配算法相结合，但未能实现神经网络。与能够使用GPU进行计算的深度学习框架不同，这些引擎仅利用分布式计算。

GNN简介（ANN与GNN）

![format_png 6][]

神经网络取代了许多静态算法，并引领了当前的机器学习行业。市场需要基于图的具有直接深度学习关联的技术。由于传统引擎出现故障和GPU缺少支持，才引入了图神经网络。

图神经网络是从图数据中学习的深度学习的新兴领域。随着图卷积网络、LSTM网络等的引入，该领域已显示出巨大的潜力。这些网络本身就是图结构，并利用相似的数据进行训练。诸如CORA和SNAP之类的图形数据集用于对其进行基准测试。

如果人工神经网络是计算图，那么为什么我们需要GNN？答案有时可能会令人困惑，但让我们开始了解基础知识。

·        人工神经网络以矩阵格式输入，或多或少是有序数据，而诸如社交网络之类的问题则将链接优先于次序。从技术上讲，在图形中，可以通过选择根节点和通过它的特定链接来推导顺序。

·        作为计算图的人工神经网络仅仅意味着它们是相互链接在一起的前馈数学表达式。网络及其使用的数据的依存关系图是不同的。

·        就层和函数而言，两个网络都包含dense、softmax、ReLU等，但是在每个计算和处理方面都是不同的。正常的密集层意味着完全的互连，但是在GNN中可能并非如此。

·        传统神经网络可以解决两种类型的问题：分类和回归。当涉及社交网络或知识图时，它们将失败。这些属于需要直接图形输入的关系问题。

·        在人工神经网络中，定义了模型体系结构，并将其输入及其各自的输出馈入模型。基于图的网络的训练和预测在某种程度上是无监督的。因此，如果要预测特定领英成员的姓名，笔者应该能够使用他的1度、2度人脉、公司、机构的隶属关系来进行操作，而无需真正知道他的实际标签。

![format_png 7][]

图源：pixaby

当今的图神经网络的发展是非常直观的，上述知识我们需要掌握。

![format_png 8][]

**推荐阅读专题**

[![format_png 9][]][format_png 9 1]

[![format_png 10][]][format_png 10 1]

[![format_png 11][]][format_png 11 1]

[![format_png 12][]][format_png 12 1]

![format_png 13][]

**留言点赞发个朋友圈**

**我们一起分享AI学习与发展的干货**

编译组：陈枫

相关链接：

https://towardsdatascience.com/evolution-of-graph-computation-and-machine-learning-3211e8682c83

如转载，请后台留言，遵守转载规范

**推荐文章阅读**

[ACL2018论文集50篇解读][ACL2018_50]

[EMNLP2017论文集28篇论文解读][EMNLP2017_28]

[2018年AI三大顶会中国学术成果全链接][2018_AI]

[ACL2017论文集：34篇解读干货全在这里][ACL2017_34]

[10篇AAAI2017经典论文回顾][10_AAAI2017]

**长按识别二维码可添加关注**

**读芯君爱你**

![format_png 14][]

[format_png]: /images/20221120/996f69cf85a3436ba558b545199618f3.png
[format_png 1]: /images/20221120/dda9a070336c4ad5bda76d4c57c48caa.png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9QTFNBaHVFbEZ4bXl1ZjA0ckNGWE8walI5MGNTdnNUaWFkc1lmWVI0QjZMeUNCRXpnYTRJT1BpYkxEOUlORjNTdm16RThkdUQ0eFVDWXJZaHdHeGliSlA3dy82NDA?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9yTHhHQTg0QlV4bDZHNGo1TjkyOHhEbDNUV04xMkxvUzZ6NDFVaDhjbkppYk1EanA5UmVpYm1xdmQ0R2lhbXh1ZFhPcm53REJtT0ZEeDVGNUtCMzFiZmtYQS82NDA?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9yTHhHQTg0QlV4bDZHNGo1TjkyOHhEbDNUV04xMkxvU3dYOXVkTUk0TXd2V2xJcERFRzlnSUg2NWJzeGtMUVU0MUhmWUM0aWE4R2hxcUo4OTB2dFJIa0EvNjQw?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9yTHhHQTg0QlV4bDZHNGo1TjkyOHhEbDNUV04xMkxvUzNqaWNOaWFtcDNiQmJ1Q05nb3g0MDQ4VHljaWJ1bjFLdnRFaWJoZWNpY0lpY3QzMDZ1QVBwT1hpYzBFYVEvNjQw?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9yTHhHQTg0QlV4bDZHNGo1TjkyOHhEbDNUV04xMkxvUzdMOGhCWkRlbDk1MzdtdU9UWFJqUHVNbll1YThDQlBJOVJpYnBqYldjRGlhbFNmVTRBOGhpY0EyUS82NDA?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9yTHhHQTg0QlV4bDZHNGo1TjkyOHhEbDNUV04xMkxvUzZ5NEZwU29WMmpOaWFiZFNvdUFESmJBZXRObGtkRDl5dHpGM0lpYksycFZockdjREFoUTFqT3p3LzY0MA?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9qTmIwbXlnYjh4Q2RpY21XYTlpY3kwczZ0Mkd5aWJVdDhZRWZnSGx2ekM4eTA5VlhQVVNIMWIwOGdnbW1oczVBNVlPMm5SY1ZpY2I4bU1GMjNnRG9XV1I4Z1EvNjQw?x-oss-process=image/format,png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9QTFNBaHVFbEZ4a0czZ0ExUVNleW1zeGduNVdpYmJSeHNOSGdVbmhOWkZDU3ZZdm4wM0s3TXRnV2xoYUJXU214Y29mamxNbmljZ1Bud2p0R0QwbGFiZGxnLzY0MA?x-oss-process=image/format,png
[format_png 9 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ec4ddf397d2bb194670056d7ed973cf4349656e20d98bd139d8a5d99526a799fb243f8d&idx=1&mid=2247493138&scene=21&sn=d2fa895e71260f2576fa952cf2487522#wechat_redirect
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9QTFNBaHVFbEZ4azV1aWJCSWpWWkR3MGhqY1ZQTVNtQU5Ld1RwOXJ0VzhSSVA5WjNPalpPV0x5cWxiTm1tSWRQdGNETWlhRzlHUzAxSUN6UmVMaWNYTElpYWcvNjQw?x-oss-process=image/format,png
[format_png 10 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ed9ddf397cf9a7136dfb1352cf9fb1127b3061293cf716f8ee95b4560e694fce20a1e24&idx=2&mid=2247493135&scene=21&sn=5711dc1074411b7e45b40eb34fecc648#wechat_redirect
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9QTFNBaHVFbEZ4bE9NdXV6UHFKcmlidkNQekNWWVV4VHRSMWljNVBpYnhKaWJXaWNlTm1DZDVNdm1pYzFWcHgzSWdyODFHUmlhbk9pYmFZcUN0N1FkaHl0eWhpYkNSZy82NDA?x-oss-process=image/format,png
[format_png 11 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ec4ddf397d28ed77a111732be52384c9be414e0aad59c570ada6b29278755d066ae2090&idx=2&mid=2247493138&scene=21&sn=e45fe93b00342ba9eac222f24369d036#wechat_redirect
[format_png 12]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9QTFNBaHVFbEZ4blZ2QTBrSmdXbTVqR1JBbXhSYUw5amx4SmFDQnhvMTdjeDU3OXdWVWNPRUxlNEZrUGt4YXVQRGVCUHdSSWZMM2xLaWFhQ3VwNWZOaWNRLzY0MA?x-oss-process=image/format,png
[format_png 12 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ed9ddf397cfbc27f47a160ee926a706f1b3151c53f707c8f221fde0ea51446aabe2148d&idx=1&mid=2247493135&scene=21&sn=cce4cc400933c960a3200fd0dfa4d0a7#wechat_redirect
[format_png 13]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9QTFNBaHVFbEZ4bXl1ZjA0ckNGWE8walI5MGNTdnNUaWFsZkNpY3duUGhoRExrajJKdmFNVHEzRHNaN25ZZ1gyNWxueGd2THh5WWhDMktMNmlheUJjUHpsdy82NDA?x-oss-process=image/format,png
[ACL2018_50]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87ee2addf0673cae27c598a097f5addad5d81b2ed766e570f20fc0fb12b77c5cf34098022e&idx=1&lang=zh_CN&mid=2247489276&scene=21&sn=98e22e2b69478303f1f1a0a51e712570&token=192322725#wechat_redirect
[EMNLP2017_28]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87eaadddf063bb3ab4ec5af616612a45f8d4fe9a5ad558f66278478296060253c1564bd05c&idx=1&lang=zh_CN&mid=2247488123&scene=21&sn=a55185f3a693f7a5d85b1abe3dd36177&token=140500370#wechat_redirect
[2018_AI]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87f6ebddf07ffd8e84bcc18d7122f894b6cf5dc967daad9c2e122edb22968fd6f589d6852f&idx=1&mid=2247487037&scene=21&sn=37cd38b305aa874c29d764361c88a202#wechat_redirect
[ACL2017_34]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87f59addf07c8c2480dd46784a431612d099d3d0531449aa8e64f68b3ba340363578d95659&idx=1&mid=2247486796&scene=21&sn=a8ae95efbf16985a259c4cd66bf919f2#wechat_redirect
[10_AAAI2017]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&idx=1&lang=zh_CN&mid=2247487100&scene=21&sn=3bd640ec4f00c5104664687194dd9a51&token=77118319#wechat_redirect
[format_png 14]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9RR2o3V0YzbFIwUnhhOU42aEo4eFFwdnNaR2ljR09LSXBpYWtCOXlQQjl3RlFvMWliYVB3ZU9qcDFkYndpYWUzdXg4OERXRWg1dExFcHo2S0pqemNVSDVwOWcvNjQw?x-oss-process=image/format,png