深度学习的可解释性（三）
1.3可解释性的觉醒
2004年，M.V. Lent 首次创造了“eXplainable AI”（XAI）一词来解释游戏模拟环境中人工智能控制的军事战术行为（Van Lent et al 2004）。尽管这个术语是新术语，但自 20 世纪 70 年代中期以来，研究人员一直致力于开发专家系统的解释（Moore 和 Swartout 1988）。随着时间的推移，XAI 文献呈指数级增长。它包括人机交互、法律法规和社会科学，但不包括计算机科学。
过去 30 年，Web of Science 中的深度学习、可解释深度学习和道德深度学习表明，随着计算密集型系统的不断增加，对可解释结果的研究需求也在增加。并非所有作者都在其作品中使用“interpretability”或“explainability’”一词，因此该调查并不详尽。研究界似乎并未统一采用可解释性评估标准。人们曾尝试定义“interpretability”和“explainability”以及“reliability”和“trustworthiness”的概念，但没有提供如何将它们纳入深度学习模型实现的明确定义（Tjoa 和guan 2020）。在本书的后面部分，有前景的技术和架构设计将为负责任的人工智能环境铺平道路。
在较高层面上，我们讨论了机器如何学习的遗传育种模型，因为它很简单。遗传密码很古老，但我们预计，随着计算能力达到疯狂的峰值，遗传模型将会复兴。然而，目前的焦点是深度学习和卷积神经网络，其中线性代数增加，而简单的可解释性却下降。我们有数千个参数，每个参数都对层和神经元特征之间的连接敏感。网络有很多链接。网络越深，其行为就越难以解释。这类似于转动无线电拨号盘，使神经元更接近答案，例如图像分类。我们不知道该电台的确切频率，但我们可以知道我们是越来越近还是越来越远。类似，但涉及数百万个表盘和大量数学。每当新的训练数据添加到网络中时，都会重复此过程。完成后，模型可以很好地识别新图像，但有一些限制。
我们专注于向人类解释深度学习系统，这意味着用简单的术语展示系统的功能。虽然“explainability”比“interpretability”更直观，但我们仍然需要定义它。正式的定义仍然难以捉摸，因此我们在心理学领域寻找线索。 T. Lombrozo 在 2006 年表示，“解释对于我们的理解以及我们交换信仰的货币至关重要”（Lombrozo 2006）。诸如什么是解释、是什么让某些解释比其他解释更好、如何做出解释以及人们何时寻求解释等问题才刚刚开始得到解答。
事实上，心理学文献中“explanation”的定义范围从演绎法学观点（Hempel and Oppenheim 1948）（其中解释被视为逻辑证明）到对事物如何运作的更普遍的理解。 Keil (2006) 最近将解释定义为“隐式解释性理解”。提供和接受解释过程中涉及的所有活动都被视为解释所需的一部分。有趣的是，不同的作品使用不同的标准，但所有这些都可以用某种方式来解释。在后面的部分中，我们将快速了解不同的可解释性想法的重要性、必要性、分类和合理性。
1.3.1 Relevance
用作预测器以最大化预测精度的非线性深度学习技术是黑匣子，但也有例外例如浅层决策树。然而，大多数深度学习技术都是黑匣子，几乎没有解释，这使得非线性科学预测方法变得困难。由于图 1.11 中缠结的线程匹配所说明的黑盒性质，尽管用户希望揭示潜在的自然结构，但用户可能无法深入了解非线性系统所学到的内容（Lapuschkin 等人 2019） ）。在易于解释和需要特定的数学知识之间存在权衡，这可能会导致对一种方法相对于另一种方法的不合理偏见。神奇的黑匣子一旦以其性能吸引人，就需要对其行为模式进行分析。
大多数人不喜欢为他们做决定的自动化系统。人们想要理解一个选择，或者至少知道为什么做出这个选择。这是因为人们并不相信他们听到的一切。因此，信任是使可解释性变得重要的因素之一。其他激励人们的因素包括因果关系、可转移性、信息性、公平和道德的决策、责任感。
1.3.1.1Incompleteness
您是否质疑过深度学习模型的准确性？为什么现在更难忽略系统的决策近似并相信结果？困境在于问题的形式化不完整，并且诸如分类准确性之类的单一指标不足以满足大多数现实世界的任务。不完整性意味着问题的某些内容无法很好地建模（Doshi-Velez 和 Kim 2017）。例如，评估犯罪风险的工具应该是公平和道德的，并且应该遵循人类的正义观念。同时，道德是一个广泛的主题，很难形式化，并且基于个人观点。例如，飞机失事是一种很好理解并且可以详细描述的危机。如果系统能够很好地避免碰撞，就没有什么可担心的。重要的是要很好地表示问题以获得准确的测量结果，而不是使用数据“伪影”.
深度学习模型必须易于理解才能揭示其趋势。默认情况下，深度学习模型会受到用于训练它们的样本的影响。因此，制度可能会鼓励种族主义者不公平地针对代表性不足的群体。例如，我们训练了一个推荐模型，可以根据过去的成就和教育状况自动批准或拒绝大学奖学金。人们常常认为成绩好的顶尖大学生有很大的成功机会。这对于资源有限的弱势群体来说可能不公平。我们希望帮助尽可能多的有才华的学生，并且为了道德上的健全，我们不能根据他们的背景对他们做出假设。因此，问题陈述不完整。我们的问题陈述，即以精英和合法的方式授予奖学金，缺乏一个额外的约束，而这个约束本应包含在用于优化深度学习模型的成本函数中。
1.3.1.2Accountability
2017 年 1 月，计算机协会 (ACM) 发布了算法透明度和问责声明。 ACM 警告称，算法在用于自动决策时可能会导致有害的歧视。 ACM 发布了规则来防止此类问题的发生。 2017 年 5 月，DARPA 启动了 XAI 计划（Gunning 2017），目标是生成可解释且高度准确的模型。这是试图解决人工智能黑盒问题的人工智能研究的总称。 XAI 没有标准定义，因为有很多方法，每种方法都有自己的需求和目标。 XAI 交替使用术语“understanding”、“interpreting’”和“explaining’”。目标是帮助用户了解模型如何做出决策。
2018 年 5 月，欧盟《通用数据保护条例》(GDPR) 取代了 1995 年的数据保护指令（2018 年条例）。 GDPR 保证每个人在自动化个人决策（包括分析）中都能获得“所涉及逻辑的有意义的解释”。修订后的欧盟 GDPR 可能要求人工智能提供商向用户解释自动化决策。这一新要求影响了大部分行业，对个人信息收集、存储和使用进行了规定。这可能会使事情变得复杂或导致禁止将不透明模型用于个人数据推荐系统等应用程序。例如，自动信用风险和洗钱决策必须是透明的、可解释的和负责任的。这可能会影响金融机构、社交网络和医疗保健。根据 Goodman 和 Flaxman (2017) 的说法，这是每个主体（人）的解释权。
1.3.1.3 Algorithmic Transparency
算法透明度对于理解模型的动态及其训练过程是必要的。这是因为神经网络的目标函数具有基本上非凸的拓扑。由于深度网络无法产生真正新颖的答案，模型的开放性受到损害。然而，现代基于 SGD 的学习算法取得了令人印象深刻的结果。寻找学习算法成功背后的原因对于深度学习研究和应用的进步至关重要。
可解释性在许多领域（但不是所有领域）都很重要。有些领域需要人工干预，例如医疗保健，但例如在航空领域，飞机防撞算法多年来一直在没有人工干预的情况下运行，并且是不言自明的。我们必须明白，当存在某些不完整性时，需要的是可解释性，而不是确定性。不确定性可以用数学模型形式化和处理。
1.3.2Necessity
在预测建模中，我们经常发现自己处于预测内容和理解为什么做出这样的预测之间的权衡。有时，知道预测的准确性就足够了。然而，在高风险环境中，我们几乎肯定会因为预测性下降而付出可解释性的代价。准确的预测只能解决原始问题的一部分。增加的可解释性可以帮助从业者调试他们的模型（Casillas et al 2013），探索诱发的偏差或无意的模型学习。
为了实现可解释性，我们当然可以采用与模型无关的技术，例如局部模型或部分依赖图（PDP）。尽管如此，有两个令人信服的理由来考虑专门为神经网络设计的解释方法
- 神经网络在其隐藏层中学习特征和概念，这需要专门的工具来发现它们。
- 与“从外部”查看模型的模型无关方法相比，梯度可用于实现计算效率更高的解释方法。
当构建的预测模型的目标与模型的实际使用方式不同时，就需要可解释性。换句话说，模型可以解释的内容与决策者想要知道的内容之间存在差异。
根据 DARPA 的说法（Gunning 2017），XAI 的目标是“产生更多可解释的模型”，同时确保高度的学习性能（预测准确性）；促进用户正确理解、信任和管理新一代人工智能协作者。这就是为什么可解释性很重要。即使模型运行良好但在少数数据实例上失败也很难解释。在这里，我们还想知道为什么模型在这几个特征组合上表现不佳（Kabra et al 2015）。我们将学习一些必然性公理。
1.3.2.1Knowledge
知识是必要性的第一轴。深度学习使世界各地的研究人员能够找到远远超出人类认知范围的联系。人工智能和深度学习技术主要帮助处理大量可靠数据的领域。但我们正在进入一个研究唯一关心的是结果和绩效指标的时代。尽管对于某些领域来说可能是这样，但科学和社会不仅仅关心表现。对知识的探索使我们能够改进模型并将其用于现实世界。在深度学习中，决策基于大量权重和参数，因此可解释性非常重要。这里的参数往往是模糊的，与现实世界无关。这使得理解和解释深度模型的结果变得困难（Angelov 和 Soares 2020）。可解释性将有助于使算法与人类价值观保持一致，这将帮助人们做出更好的决策，并让他们更好地控制这些决策。
另一方面，如果我们真正理解一个模型，我们就可以仔细观察它的缺陷。这是因为模型的解释能力可以帮助我们找出它可能薄弱的地方，并基于这些知识使其更加准确和可靠。此外，可解释性是以合乎道德的方式使用深度学习技术的关键部分（Geis et al 2019）。
可解释性是一种无法直接测量的潜在属性。它依赖于可测量的结果，例如预测模型行为的能力、检测模型的缺点以及模型预测对用户的影响程度。由于缺乏任何既定的基准，并且解释程度不完整，我们有必要积极寻求一些评估技术来道德地实施可解释性方法。 Doshi 等人 (2017) 试图根据人类参与和应用程度来分离评估方法，以满足更昂贵和昂贵的解释需求。我们以上图中的示例的形式直观地演示了这一点。一般来说，人员越多，手头的任务越严重，对可解释性和特异性的需求就越大。增加可解释性需求和特异性的总体想法是基于所涉及的人员数量和手头任务的严重性。
1.3.2.2Regulated Sectors
深度学习技术的合法运作是第二个轴。国家和国际层面的几项具有法律约束力的法规已经规范了人工智能系统的开发、部署和使用。除了消费者工作和安全法、GDPR 和联合国人权条约等横向适用的法规外，医疗保健领域的医疗器械监管等具体实施须遵守特定领域的规则.
第一个原因无疑是研究界和商业部门之间的差距，这阻碍了最新的深度学习模型在流程数字化转型历来落后的行业中的完全渗透，例如银行、金融、安全和金融等。健康等。这个问题通常出现在监管严格且不愿实施可能使其资产面临风险的技术的行业。即使保证了道德目的，社会也必须确保该系统不会造成意外伤害。
随着可解释性需求的出现，如果认真对待可解释性需求并将其纳入立法，就必须理解其积极和消极的法律后果。这表明解释不应仅仅参考可以做什么，还应该参考应该做什么。这将为可靠的深度学习奠定基础。 Ribeiro 等人 (2016) 2016 年的工作检查了任何分类器预测的可解释性，以促进信任。话虽如此，我们必须继续履行任何自然或合法身份都应遵守法律的义务——无论它们现在适用还是将来由于人工智能的发展而采用。
1.3.2.3Consensus on Interpretability
知道“为什么”可以帮助我们更深入地了解问题并解释模型可能失败的原因（Doshi-Velez 和 Kim 2017）。通过解释模型的潜在特征交互，了解哪些特征主导模型的决策策略。这确保了模型的行为是公平的。模型的责任性和可靠性是通过验证和证明为什么特定关键特征负责驱动模型在预测期间做出的某些决策的能力来确保的。该信息不必提供对情况的详尽解释，但应解决主要原因。
尽管IDL的研究量正在迅速增加，但对这些研究工作缺乏全面的调查和系统的分类。此外，我们人类经常将信仰、欲望、目标甚至情感与无生命的物体联系起来。这些人格特征可以与人类代理人的描述相媲美。物联网设备，例如我们的智能吸尘器 Eufy，就是很好的例子。如果 Eufy 陷入困境，我们会想到，“Eufy 热衷于清洁，但当她陷入困境时，她会拼命寻求我的帮助。”后来，当 Eufy 完成清洁工作并正在寻找基地充电时，我们假设 Eufy 想要充电并且迫切想回家。性格特征也被指定为“Eufy 有点弱智”。这些是我们的想法，尤其是在我们发现尤菲在用吸尘器打扫公寓时撞倒了一棵植物之后。描述其预测的机器或模型更有可能获得接受。
解释通过假设对某事有共同兴趣来控制社交交流；通过这个答案，解释者可以监控受益人的行为、情绪和信念。让模型与我们交流可能需要塑造我们的情绪和期望。设备必须“影响”消费者才能帮助他们实现目标。如果我们的智能清洁器没有以某种方式解释其响应，我们就不会接受它。它通过展示被卡住作为不加评论地停止工作的替代方案，建立了对事故（例如反复被卡在阳台地毯上）的共识。
有趣的是，系统目标的解释（建立信任）和接收者的意图（理解行为预测）之间可能存在不一致。也许 Eufy 卡住的完整解释是电池电量低、其中一个轮子无法正常工作，或者是导致机器人反复返回同一位置的算法错误。这些（可能还有其他）因素可能会让 Eufy 陷入困境。然而，它仅仅表明有什么东西挡住了路，这足以让我们接受它的行为并对事故形成共同的理解。
算法问责制的重要性已被多次强调。谷歌的面部识别算法将一些黑人标记为大猩猩，优步的自动驾驶汽车显示停车标志，这是两个著名的例子。由于谷歌无法修复算法并消除导致此问题的算法偏差，因此他们通过从谷歌照片搜索引擎中删除所有对猴子的引用来解决该问题。
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！