随着以机器学习为代表的新一代人工智能技术不断朝着更加先进、复杂、自主的方向发展，我们的经济和社会发展都纷纷迎来了变革性的机遇。

但与此同时，AI算法的透明度、可解释性问题也为公众信任、公共安全等诸多领域带来了前所未有的挑战。

1月11日-14日，由腾讯研究院和腾讯可持续社会价值事业部（SSV）联合主办的“腾讯科技向善创新周”在线上举办。“透明可解释AI——打开黑箱的理念与实践”作为本届创新周的第一个专题论坛，聚焦讨论人工智能的可解释性与透明度问题。

本场论坛由腾讯集团副总裁、腾讯研究院总顾问杨健主持。会上，腾讯研究院秘书长张钦坤、优图实验室人脸识别技术负责人丁守鸿首先共同发布了《可解释AI发展报告》，随后由加拿大皇家科学院加拿大工程院两院院士杨强老师、南方科技大学计算机科学与工程系系主任姚新老师、厦门大学人文学院朱菁院长、腾讯AILab顾问吴保元老师、京东探索研究院算法科学家何凤翔老师、天衍实验室负责人郑冶枫老师，共同参与了关于可解释AI的圆桌讨论。

以下为圆桌研讨环节的整理文章：

可解释AI的概念共识

姚新：

大家在讨论AI算法的透明性和可解释性的时候，首先应该考虑三个W的问题——Who，What和Why的问题。

首先，到底是对谁讲透明和可解释？因为从科学研究来说，任何一个研究都必须透明，都必须可解释，否则这个论文是发不出来的。所以我猜过去讲透明性和可解释性，可能不是对科学家来说的可解释性或者透明性，因为对科学家的透明性和可解释性，不一定对大众透明和可解释。第二是解释什么？解释模型做出来的结果还是解释这个模型的工作原理。第三，解释总是有一个目的，目的是要追责还是理解这个模型的科学原理。

根据对这三个W不同的答案，会得出非常不一样的透明性和可解释性，相应的解决办法可能也完全不一样。不管怎样，考虑透明性和可解释性的时候，首先大家要有一个概念上的共识，使得我们知道我们是讲同样一件事情，而不是用了同样一个名词，大家在不同的抽象层次讲不同的问题。

吴保元：

可解释是可信AI的重要组成部分，是可信的前提条件之一，但是相比于鲁棒性、公平性等可信特性，我觉得可解释不是独立存在的概念。就是姚老师刚才提到的，我们到底在解释什么？其他的特性都是有自己明确的数学定义，比如鲁棒性、公平性等，但是可解释性是没有的，因为我们单独提到它的时候，背后默认的更可能是对模型准确度的可解释性。或许这也可以解释为什么当前的可解释研究思路这么多，但是好像没有一个明确的框架，我觉得最主要的原因是它的解释对象不一样，没有办法统一到一起。

基于这种理解，我个人有一点小的想法，不应该把它称为可解释性，把它称为可解释力或许更准确。可解释性，大家可能误认为它是一种独立存在的性质；可解释力是一种可解释的能力，就像我们说的理解力、领导力等等，它是一种手段，一种行为，一种操作存在，需要跟别的绑在一起。我觉得以后提到它的时候，应该准确地描述它是针对什么特性的可解释力，而不是笼统地说可解释性如何。

可解释AI的价值何在？

朱菁：

人们对于人工智能系统可解释性、透明性的要求，大致有四个层次：

第一个针对的是直接用户，用户需要了解人工智能产品、服务背后的原理是什么，这是建立可信任AI的重要基础。可解释AI，实际上支撑了可信任AI。

第二个层次，对于政策和监管部门，他们希望通过解释原理来了解人工智能产品的公平性、可问责性，归因的过程是我们进一步问责、追究责任的基础。所以，可解释AI也与负责任的AI、可问责的AI是联系在一起的。

第三个层次就是技术工程与科学层次，我们希望了解为什么某些算法能够成功，它成功背后的奥秘是什么，它的应用范围是什么，它能否在更大的范围内使用这样一些算法或者是一些技术。

第四个是公众理解AI，如果社会大众大多数关心的话，他也能够在这方面了解相应的技术、系统大体的工作原理方式是什么。

何凤翔：

在现在的AI系统中，其实很多算法背后运作机制是未知的，是不清楚的，这种未知带来了未知的、难以管理的风险，包括安全性、鲁棒性、隐私保护、公平性等等。

这些点关系到了社会运转中非常关键、人命关天的领域，比如医疗、自动驾驶。这会带来很大的应用方面的困难，以及社会对AI的不信任。因为当AI算法运作机制是未知的时候，它的风险机制、风险大小、风险尺度就是未知的，我们就难以去管理风险，进而去控制风险。

可解释AI的挑战何在？

姚新：

原来我一个学生跟我做了一点关于公平性的工作，跟其他的文献发现的点非常一致，就是说模型的准确性和公平性之间是相互矛盾的。性能最好的模型从公平性的角度来说，按指标来测量不见得最好，你要把模型做得都是最公平，用指标来衡量的话，它的性能就会受到损失。实际上可解释性非常类似现在有各版的可解释性指标，但是要真正考虑这些指标的话，模型的性能总是会掉下来，要考虑在实际过程中怎么来找一个折中的方案。

吴保元：

针对可解释性本身的不可行、不可取，这也是值得我们思考的问题。比如说我们在研究犯罪率或者说疾病的传播率、发病率等，如果我们就拿现成的统计数据，比如在不同种族、不同地域采集的数据，很有可能会得出来某些种族或者某些地域犯罪率很高，这是因为数据采集的时候就是这样的。这样一来，如果可解释给出的类似结论被公开，可能会造成种族或者地域歧视。但实际上数据背后是我们在采集的时候没有采集其他特性，比如说为什么这个地域的传播率很高呢？很有可能是政府投入不足，或者说其他的因素。

所以这也启发我们可解释性本身它的可信性是什么，它的准确性，它的公平性，它是否忽略了某些特征，或者夸大了某些特征，它的鲁棒性，是不是把样本变化一点，它的可解释性截然相反，这些需要我们进一步思考。

另外，我跟很多研究可解释的专家聊过，他们的困惑在于现在的可解释性方法是不可印证的，甚至是矛盾的，这就引出了可解释性方法本身的可信度的问题。

何凤翔：

在我看来，理解深度学习算法的运作机制，大致有理论和实践两条路径。在理论方面，当前的研究无法完全解释理论上泛化性较差的深度模型为何能在多领域取得如此的成功。这种理论与实践的矛盾，就像曾经物理学中的乌云一样，反映出来了人们对于机器学习理解的缺失，而这是现在在理论上提升算法可解释性的一个难点。

而在实验角度上，很多实验学科中的做法可以作为对于机器学习研究的启发，比如说物理学、化学，以及刚才提到的医疗。比如说药物研发流程中的合格检验，要做双盲实验；在物理学、化学的研究中，对控制变量实验有严格要求。类似的机制是否能在AI研究中严格执行呢？我觉得这可能是另外一条路径。在我看来，现有的很多对于AI算法的解释是启发式的，而在关键领域中我们需要的是证据，这需要在理论和实验两方面做很多工作。

可解释AI如何实现？

朱菁：

前面很多专家都指出对于解释有不同的目标，不同的对象，不同的要求，所以实际上关于人工智能的可解释性问题可能是属于多元性的，就是要允许有多种不同层次不同方式的解释在这里面起作用，针对不同的领域、不同的对象，使用不同解释的方式。

当可解释性有它的局限或者和其他的目标、要求，需要做出权衡取舍的时候，我们想也可以从多个层面来进行替代性的，或者说是补偿性、补充性的策略。比方说针对监管部门，它对于可解释性的要求，和面向公众或者专家层面的，会有所不同，所以这个可以通过若干个层次，比如说监管部门的，行业的，市场的，以及传播普及层面的，对于安全性、鲁棒性要求更高一些，或者在专家层面上有更好的沟通理解，而对于社会公众而言，这里面就需要有一些转换，同时有需要一些权威部门，有公信力的部门，向社会做一些说明和认定。

姚新：

深度神经网络可以解决特别复杂的问题，我觉得现在大家用深度网络有一个原因，即所针对的问题本身可能就比较复杂。这是一个假设。假如这个假设是对的话，那么相应的可解释性不会特别好理解。因为需要对付这些复杂性，相应的模型就必然是要复杂。

所以我总觉得透明性、可解释性和性能之间是有一个固有的矛盾，如果现在把从技术上讨论的方向，是怎么找一个折中方案，根据不同的场景、可解释的目的，找不同折中方案，这样导致有可能会出来一些比较具体的技术，或者可以促进这些技术往落地的方向走。

吴保元：

我们尝试过一些从技术上可行的方案去量化各种可信特性，但是，要实现统一量化很困难，比如说公平性和鲁棒性都有不同的量化准则和指标。当把不同的特性简单组合到一起的时候很难优化，因为它们的准则是高度不对齐的，差异非常大，这就涉及怎么去对齐这些特性坐标。我认为想要找到一个全局坐标系是非常困难的。我们可以从局部出发，针对某种场景，比如医疗场景，首先把隐私性当做前提，在金融或者自动驾驶，我们把鲁棒性当做前提，然后再去研究其他特性，或许一步一步能够找到这种坐标系。

可解释AI的技术现状？

郑冶枫：

总体来说，因为我们现在还缺乏非常好的理论框架，所以可能针对问题，我们创造性地想一些算法，试图提高本身这个系统的可解释性，给大家举两个例子来说明一下我们天衍实验室在这方面的探索。

深度学习可能有千亿、万亿的参数，这对于医生来说太复杂了，他很难理解这个算法的底层原理，算法本身可能缺乏一个全局的可解释性。但是深度学习框架准确率非常高，所以我们不可能不用。而可解释性非常好的模型就是回归模型，这类模型主要的问题就是准确率太低。所以我们做了一个探索，我们希望把这两个模型结合起来，它具有非常高的准确率，还有一定的可解释性，不是完全可解释性。

我们把这个混合模型用于疾病风险预测，就是根据病人历次的就诊记录，我们预测病人在未来6个月之内得某个重大疾病的概率，比如他得卒中的概率。病人每一次的就诊记录包含大量信息，这里面我们需要提取一些跟预测目标相关的重要信息，我们知道深度学习网络最擅长的就是自动特征学习。所以我们利用深度学习网络把一次就诊记录压缩成一个特征的向量，接着我们利用回归模型，把病人多次就诊记录综合起来预测未来6个月之内这个病人得脑卒中的风险。

这里我们用的是稀疏线性回归模型，从病人几十次、上百次过去历年就诊记录里面，选取几次与预测目标最相关的就诊，选择这几例就诊，我们会给它相应的权重。所以这种稀疏线性回归模型的可解释性非常好，因为它只

转载请注明:http://www.aideyishus.com/lkcf/2238.html