理解AI：为什么要在人工智能系统中寻求可解释性呢？

「爱情、让人受尽委屈。」 2022-12-20 11:19 128阅读 0赞

![format_png][]

全文共**2703**字，预计学习时长**7**分钟

![format_png 1][]

图源：unsplash

或许这是你第一次听到人工智能前面加“可解释的”这个形容词，但其实它的涵义你一定能

理解。可解释的人工智能（XAI）是指构建AI应用程序的技术和方法，人们借此以理解它们做出特定决策的原因。换句话说，如果我们可以从AI系统获得有关其内部逻辑的解释，则该系统可视为可解释的人工智能系统。

可解释性是一个新的属性，在人工智领域初露锋芒。首先，让我们深入探讨一下这个问题的技术根源。

人工智能是改善生活的增强器

无可置疑，技术进步便于人们获得更优质的服务。技术是我们生活中不可或缺的一部分，而且不管你喜欢与否，它对生活的影响只会越来越大。

继计算机和互联网之后，人工智能再次改变了我们的生活。从五六十年代数学领域的奋力尝试，到九十年代的专家系统，再到现在人类在AI领域取得的成果——可乘坐自动驾驶汽车，使用谷歌翻译与外国人交流，利用各种应用程序修图，使用智能推荐算法寻找最佳餐厅等等。毫无疑问，人工智能对我们生活的影响力正在逐步提高，成为生活中不可或缺的一部分。

但与此同时，人工智能系统错综复杂，普通用户几乎无法理解其工作原理。我确信只有不到1%的谷歌翻译用户知道它是如何工作的，但我们仍信任并广泛使用该系统。但我们应该了解AI系统的运行路径，或者至少，能够在必要的时候获取其有关信息。

过于注重准确性

数百年来，数学家和统计学家一直在研究传统的机器学习算法，如线性回归、决策树和贝叶斯网络。这些算法直观易懂，且发展成熟，基于其中任何一项传统算法进行的决策，都十分容易解释，但它们的精确度却十分有限。因此，我们的传统算法虽解释性高，但成就有限。

在麦卡洛克-皮茨神经元之后，一切都改变了，这一发展促进了深度学习领域的创立。深度学习是人工智能的子领域，专注于利用人工神经网络复制大脑中神经元细胞的工作机制。得益于强大的计算能力和优化的开源深度学习框架，我们能够构建高精确性的复杂神经网络。

为达到尽可能高的精确度，人工智能研究人员开始竞相研究。这些研究催生了许多出色的AI产品，但也有其弊端——低解释性能力。

神经网络极其复杂，它们可以由数十亿个参数来构建。例如，Open AI革命性的NLP模型GPT-3有超过1750亿的机器学习参数，从这样一个复杂的模型中获取任何推理都是一个挑战。

![format_png 2][]

机器学习算法的准确性VS可解释性

如图所示，和深度学习模型相比，采用传统算法会让人工智能开发者损失惨重。而且随着模型精确度日益增加，其解释性愈加低效。但是，我们却比以往任何时候都更需要可解释性。原因如下：

·        越来越多的人工智能系统应用于敏感领域

世界日新月异，比你想象得还要快。还记得上世纪端着步枪的战争么？现在人工智能无人机已经能够在没有人类干预的情况下干掉任何人。一些军队已经具备实现这些系统的能力，他们担心的是无法解释的结果，他们不想依赖于一些不明工作原理的系统。事实上，美国国防部高级研究计划署已有一个正在进行的XAI项目。

另一个例子是自动驾驶汽车，特斯拉已实现自动驾驶。这对驾驶员来说是极大的幸事，但这也带来巨大的责任。汽车在面临道德困境时会怎么做？在这种情况下，它必须在两害当中取其轻。自动驾驶汽车是否应该牺牲一条狗的生命来救一个路人？

AI系统的社会影响力不断提升，我们需要了解它们如何在一般情况下以及在特定事件中做出决策。

·        人工智能的指数型发展可能会威胁人类生存

《终结者》很多人都看过，影片中展示了机器是如何变得有自我意识并可能毁灭人类。人工智能十分强大，它可以帮助人类成为一个多行星物种，也可以如世界末日般摧毁人类。

研究表明，超过30%的人工智能专家认为，实现人工通用智能的后果没有更坏，只有最坏。要想预防灾难性的后果，最有力的武器就是了解人工智能系统的工作路径，以便能够运用制衡机制。

![format_png 3][]

图源：unsplash

·        解决有关人工智能的争议需要依据和解释

随着过去两个世纪人权和自由的发展，现行法律法规已要求在敏感领域要有一定程度的可解释性。法律论证和推理领域也涉及可解释性的界限问题。

人工智能应用程序替代了一些传统职业，但这并不意味着它们的操控者不需要给出解释。他们必须遵守同样的规则，对服务软件做出解释。一般的法律原则要求在发生法律纠纷时操控者对自动决策给出解释。例如，一辆特斯拉自动驾驶汽车撞上行人的情况。

但是，一般规定原则并不是强制性解释的唯一理由，也有一些当代的法律法规创造了不同形式的解释权。欧盟的“通用数据保护条例”(GDPR)已经定义了解释权，即个人接受自动化决策时，需要对人工智能系统的逻辑进行合理的解释。

在美国，公民有权获得对其信贷申请遭拒的解释。事实上，正如前文图中所预见的那样，这一权利迫使信用评分公司在对其客户评分时采用回归模型(更具解释力)，以便他们能够提供强制性解释。

·        消除人工智能系统中的历史偏差需要解释性

从历史上看，人类对于不同群体的歧视从未停止，这也反映在收集的数据中。开发人员训练人工智能模型时，会把人工智能中带有偏见和歧视的因素输入到历史数据中。如果我们的观察有种族偏见，模型在做预测时也会投射出这些偏见。

巴特利（Bartlett）的研究表明，在美国，至少有6%的少数族裔的信贷申请因为纯粹的歧视而遭受拒绝。因此，用这些有偏见的数据来训练信用申请系统将会对少数族裔产生毁灭性的影响。作为社会中一员，我们必须了解算法如何工作，人类如何能够消除偏见，以便保证社会自由、平等和博爱。

·        自动化的商业决策需要可靠性和信任

从财务角度来看，可解释性也是有意义的。利用人工智能系统为公司的销售和营销工作推荐特定方案时，你可能想知道其推荐理由。而决策者要对方案负责，所以必须清楚采取该方案的原因。这对于实体企业和金融企业都具有重要意义，尤其是在金融市场，一个错误的决策会让公司损失惨重。

![format_png 4][]

图源：unsplash

人们需要可解释AI的原因来自不同的学科和领域，包括社会学、哲学、法律、伦理学和商业界，这足以见得这种需求的广泛性和急迫性。

![format_png 5][]

**推荐阅读专题**

[![format_png 6][]][format_png 6 1]

[![format_png 7][]][format_png 7 1]

[![format_png 8][]][format_png 8 1]

[![format_png 9][]][format_png 9 1]

![format_png 10][]

**留言点赞发个朋友圈**

**我们一起分享AI学习与发展的干货**

编译组：樊曼曼、王萌

相关链接：

https://medium.com/swlh/5-reasons-why-we-need-explainable-artificial-intelligence-f0b2374840c6

如转载，请后台留言，遵守转载规范

**推荐文章阅读**

[ACL2018论文集50篇解读][ACL2018_50]

[EMNLP2017论文集28篇论文解读][EMNLP2017_28]

[2018年AI三大顶会中国学术成果全链接][2018_AI]

[ACL2017论文集：34篇解读干货全在这里][ACL2017_34]

[10篇AAAI2017经典论文回顾][10_AAAI2017]

**长按识别二维码可添加关注**

**读芯君爱你**

![format_png 11][]

[format_png]: /images/20221120/706b215cac30468fa32f3b6279904d53.png
[format_png 1]: /images/20221120/04e7c4fdf1694a7f8d09bf5a2afafe7f.png
[format_png 2]: /images/20221120/254dc5d582d6406daf3ba1b80fce0640.png
[format_png 3]: /images/20221120/4bcccbc02bea42cb8d0eb269e9ef9e90.png
[format_png 4]: /images/20221120/18e96718040f4faebbf5751421ce8fcc.png
[format_png 5]: /images/20221120/d44e3a51ffb94ff186e1acb4c418ba86.png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9QTFNBaHVFbEZ4a0czZ0ExUVNleW1zeGduNVdpYmJSeHNOSGdVbmhOWkZDU3ZZdm4wM0s3TXRnV2xoYUJXU214Y29mamxNbmljZ1Bud2p0R0QwbGFiZGxnLzY0MA?x-oss-process=image/format,png
[format_png 6 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ec4ddf397d2bb194670056d7ed973cf4349656e20d98bd139d8a5d99526a799fb243f8d&idx=1&mid=2247493138&scene=21&sn=d2fa895e71260f2576fa952cf2487522#wechat_redirect
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9QTFNBaHVFbEZ4azV1aWJCSWpWWkR3MGhqY1ZQTVNtQU5Ld1RwOXJ0VzhSSVA5WjNPalpPV0x5cWxiTm1tSWRQdGNETWlhRzlHUzAxSUN6UmVMaWNYTElpYWcvNjQw?x-oss-process=image/format,png
[format_png 7 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ed9ddf397cf9a7136dfb1352cf9fb1127b3061293cf716f8ee95b4560e694fce20a1e24&idx=2&mid=2247493135&scene=21&sn=5711dc1074411b7e45b40eb34fecc648#wechat_redirect
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9QTFNBaHVFbEZ4bE9NdXV6UHFKcmlidkNQekNWWVV4VHRSMWljNVBpYnhKaWJXaWNlTm1DZDVNdm1pYzFWcHgzSWdyODFHUmlhbk9pYmFZcUN0N1FkaHl0eWhpYkNSZy82NDA?x-oss-process=image/format,png
[format_png 8 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ec4ddf397d28ed77a111732be52384c9be414e0aad59c570ada6b29278755d066ae2090&idx=2&mid=2247493138&scene=21&sn=e45fe93b00342ba9eac222f24369d036#wechat_redirect
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9QTFNBaHVFbEZ4blZ2QTBrSmdXbTVqR1JBbXhSYUw5amx4SmFDQnhvMTdjeDU3OXdWVWNPRUxlNEZrUGt4YXVQRGVCUHdSSWZMM2xLaWFhQ3VwNWZOaWNRLzY0MA?x-oss-process=image/format,png
[format_png 9 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ed9ddf397cfbc27f47a160ee926a706f1b3151c53f707c8f221fde0ea51446aabe2148d&idx=1&mid=2247493135&scene=21&sn=cce4cc400933c960a3200fd0dfa4d0a7#wechat_redirect
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9QTFNBaHVFbEZ4bXl1ZjA0ckNGWE8walI5MGNTdnNUaWFsZkNpY3duUGhoRExrajJKdmFNVHEzRHNaN25ZZ1gyNWxueGd2THh5WWhDMktMNmlheUJjUHpsdy82NDA?x-oss-process=image/format,png
[ACL2018_50]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87ee2addf0673cae27c598a097f5addad5d81b2ed766e570f20fc0fb12b77c5cf34098022e&idx=1&lang=zh_CN&mid=2247489276&scene=21&sn=98e22e2b69478303f1f1a0a51e712570&token=192322725#wechat_redirect
[EMNLP2017_28]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87eaadddf063bb3ab4ec5af616612a45f8d4fe9a5ad558f66278478296060253c1564bd05c&idx=1&lang=zh_CN&mid=2247488123&scene=21&sn=a55185f3a693f7a5d85b1abe3dd36177&token=140500370#wechat_redirect
[2018_AI]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87f6ebddf07ffd8e84bcc18d7122f894b6cf5dc967daad9c2e122edb22968fd6f589d6852f&idx=1&mid=2247487037&scene=21&sn=37cd38b305aa874c29d764361c88a202#wechat_redirect
[ACL2017_34]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87f59addf07c8c2480dd46784a431612d099d3d0531449aa8e64f68b3ba340363578d95659&idx=1&mid=2247486796&scene=21&sn=a8ae95efbf16985a259c4cd66bf919f2#wechat_redirect
[10_AAAI2017]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&idx=1&lang=zh_CN&mid=2247487100&scene=21&sn=3bd640ec4f00c5104664687194dd9a51&token=77118319#wechat_redirect
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9RR2o3V0YzbFIwUnhhOU42aEo4eFFwdnNaR2ljR09LSXBpYWtCOXlQQjl3RlFvMWliYVB3ZU9qcDFkYndpYWUzdXg4OERXRWg1dExFcHo2S0pqemNVSDVwOWcvNjQw?x-oss-process=image/format,png