AI 解释你自己
理解AI是如何做出决策的在当今变得尤其重要
人工智能系统正在接管大量以前依赖于人类专业知识和判断的任务。但是通常，他们行为背后的“推理”确实不明确的，并且可以产生令人惊讶的错误或者强化偏见的过程。解决这个问题的一种方法是让AI对人类来说“可解释”—例如，设计者可以改进它或者让用户更好地知道何时去信任它。虽然针对不同目的的最佳解释方式仍在研究中，但它们将深刻的塑造未来人工智能如何被使用。
作为在线推荐系统的一部分，一些可解释的AI 或 XAI早已被我们熟悉，例如：图书购买者或电影观众看到有关其他选择的建议，这些选择被描述为具有某种类似的属性，或者被类似用户选择。然而，这样的出现问题的代价很低（The stacks are low ），偶尔的错误会很容易被忽略，无论是否有这些解释。
尽管如此，这些（上面提到的online recommender systems）和其他人工智能系统做出的选择有时会违背常识，表明我们对它们的信任往往是我对我们自己思想的不合理投射。来自马里兰大学计算机科学系的教授兼人机交互实验室创始人和主任Ben Shneiderman说“人工智能在某种程度上是另外一种令人类感到不安的意识形态”
随着AI的广泛应用，理解AI如何总结出结论变得至关重要，有时针对具体的案例，有时作为一般原则。在个人层面，AI系统的设计者有道德和法律责任为AI做出的那些会导致死亡、金融损失、或者否决假释的决策提供理由。对于5月份生效的欧盟数据保护工具的改革突出了这些责任，尽管他们只是间接地提到了“解释权”。但是，如果它们是类似于软件最终用户协议的未读细则。Shneiderman说“这必须是可以解释的”，而且还要保证对哪些非人工智能领域的专家也是可以理解的。
对于AI系统的设计者来说，提供AI做出的让人意想不到的决定的合理解释并不仅仅只是一个额外的令人头疼的问题，但是Shneiderman强调：“它对AI来说将是一个非常有道德的事情”，他断言到：“如果你有一个可解释的算法，你就更有可能拥有一个有效的算法”
但是，可解释的方法并不总是表现得更好。例如，早期AI包含有人类决策标准驱动的大量规则，因此在受限制的域内易于理解，但其能力通常令人失望。相比之下，人工智能最近的戏剧性表现的改进是基于使用巨大的带有隐藏特征的神经网络的深度学习，这些功能通过与大量数据来“编程”。这些系统将巨大的计算机能力应用于这些带标签的训练数据集上，以识别通常超出人类可识别的模式。
什么是解释？
考虑到现代人工智能的内部复杂性，希望人为的解释似乎是不合理的。对于在数千张猫和非猫的图片训练的深度学习系统，纽约大学计算机科学教授Ernest Davis说“也许最好的比喻是，它进化（develops）出了对识别猫和非猫问题的一种合理的直觉”就像人们为自己的决定设计事后合理化一样，例如尖尖的耳朵，尾巴等，“这实际上并没有解释为什么你认为它是一只猫”他说：“得出这种解释是一种不同的任务”。
一个重要的挑战是这些独立生成的解释也可以选择其直观的合理性，而不是它们的准确性。当法律责任受到威胁时，提出有利于自己的故事将会特别诱人。例如：当自动驾驶汽车杀死行人，或者AI系统参与医疗错误时。
Shneiderman说，责任评估需要详细的审计跟踪，类似于允许美国国家运输安全委员会追溯研究失事飞机的黑匣子，这种解释允许卷管机构分析失败的原因，划分责任，并需要整改来防止悲剧重演。Shneiderman说：“我们不需要新的法律来处理AI ”
解释个别事件已经足够困难了，但是其它情况下，问题可能只会出现在系统的总体性能中。例如，用于分析社会经济属性评估借款人信誉或犯罪分子再犯的人工智能程序可能最终歧视某种族群体往往具有不利特征的个人。同样，分析医疗记录的系统“可能会选择看起来像种族的东西作为某种结果的重要指标”哈佛大学John A.Paulson工程与应用科学学院计算机科学助理教授Finale Doshi-Velez表示，实际上不同种族的患者最终只能使用不同程序的医院。
然而，许多最终用户寻求较小的法律解释，这些解释可能无法与基础计划相关联。就像AI一样，Doshi-Velez说“人们再思考和决策方面非常复杂，但是我们能够相互理解事情”。
例如，在医疗用途中，Doshi-Velez说，对于一部分具有相似病症的患者，可以做出澄清诊断或治疗决策的解释就足够了。这种局部（local）的解释不需要解决全面的深度学习系统所涵盖的所有复杂性和异常值。
考虑到现代人工智能内部复杂性，希望对其决策理论的人为解释似乎是不合理的
麻省理工学院电子工程和计算机科学系的Delta Electronics实验室的教授赞同Regina Barzilay表示“根据你的应用，你可能会想到不同形式的解释”。一方面，例如，系统可以通过“识别驱动决策的输入的片段”来解释，因为他的小组正在进行分子建模。另一种技术是“找到训练集中哪些实例最接近目标”。
适当的信任
鉴于AI越来越具有军事重要性，2017年美国国防搞及研究计划局（DARPA）推出了一项雄心勃勃的计划，从多个不同的角度探索XAI并进行比较。“解释的主要目标或好处之一就是让我们能够适当的信任”该项目经理David Gunning强调到“你真正需要的是让人们对系统所作的事情有一个更好微调的模型，这样他们就能知道他们可以信任它的时候以及他们不应该信任它的情况。”
大多数项目旨在将解释友好型的功能纳入深度学习系统；例如，预编程内部网络结构以及熟悉的概念。
关键问题是这些可解释性的功能是否会降低AI的性能。Gunning 说“我认为这里面是存在一个平衡点的”相反，Barzilay说“到目前为止的实验表明，任何可以‘解释AI’的性能都是非常非常低的”。
第三个策略是使用分离系统去描述被视为黑盒子的学习系统，实质上是用一个学习去分析、解释另一个系统。对于这种方法，问题就是一个系统对另外一个系统做出的解释是否准确。
随着结果的公布，从2018秋季开始，Gunning 说“该项目应该产生一系列技术”该项目一个很重要大的特征是正式评估，其中将比较结果对人类使用者的有用性，无论是否进行解释。其中一些评估将基于主观影响，但用户也会尝尝预测，例如，系统是否会正确执行新任务。Gunning 说，他们的目标是知道“是否这个解释给他们一个对这个系统的优缺点更好的想法”
确保人类控制
最终,非AI专家的人类必须也能够理解。全世界研究者很熟悉的完成这件事情和衡量结果的挑战有多大,成功的方法不仅包括计算机科学,而且还要考验心里素质。
“这种人机交互正变得越来越重要”，例如医疗人工智能系统，格拉茨医科大学医学信息学和统计研究所Holzinger Group负责人Andreas Holzinger，以及格拉茨技术大学应用计算机科学副教授说： “最紧迫的问题是什么是兴趣和相关的”，使解释在诊断和治疗中有用。 Holzinger 说：“我们希望讨论人类智能” “让人类做人类可以做得好的事情，对计算机也是如此”。
Barzilay 说：对于科学系统，用户正在考虑机械解释，机器和人之间的共生关系是富有潜力的，如果这种共生模式提供给人，能在科学领域做的更好吗？Barzilay 说“我认为这会下一个边界”。
然而，不是人工智能和人类之间的团队合作，Shneiderman认为更合适的目标市利用人类的决策，而不是外包。“关键词是责任，当我们从事医疗、法律、假释、贷款、招聘、枪决、等等这些会导致重大结果的”
是时候让AI走出青少年游戏阶段，开始认真对待质量和可靠性概念了
