人工智能(AI)方法在过去几十年里越来越先进，在许多现实世界的任务中取得了显著的结果。尽管如此，大多数现有的人工智能系统并没有与人类用户分享它们的分析和导致它们预测的步骤，这使得可靠地评估它们极具挑战性。
来自加州大学洛杉矶分校、加州大学圣地亚哥分校、北京大学和北京通用人工智能研究院(BIGAI)的一组研究人员最近开发了一种新的人工智能系统，可以向人类用户解释其决策过程。发表在《科学机器人》(Science Robotics)杂志上的一篇论文介绍了这个系统，它可能是朝着创造更可靠、更容易理解的人工智能迈出的新一步。
“可解释AI (XAI)领域的目标是在机器人和人类之间建立协作信任，DARPA XAI项目是推进这一领域研究的伟大催化剂，”该论文的第一作者之一袁路遥博士说道。“在DARPA XAI项目开始时，研究团队主要专注于通过向用户揭示AI系统的决策过程来检查分类任务的模型，例如，一些模型可以可视化CNN模型的某些层，声称达到了一定的XAI水平。”
袁博士和他的同事们参与了DARPA XAI项目，该项目专门针对开发新的和有前途的XAI系统。在参与这个项目时，他们开始思考XAI在更广泛的意义上意味着什么，特别是它可能对人类和机器之间的合作产生的影响。
该团队最近的论文建立在他们之前的一项研究的基础上，该研究也发表在《科学机器人》(Science Robotics)上。在这项研究中，该团队探索了可解释系统在人机交互过程中可能对用户的感知和对AI的信任产生的影响。在他们过去的研究中，该团队在物理上(即在现实世界中)实现并测试了一个AI系统，而在他们的新研究中，他们在模拟中测试了它。
我们的模式与DARPA XAI项目中几乎所有团队提出的模式形成了对比，后者主要专注于我们所说的被动机器-主动用户模式，在这些范例中，人类用户需要利用一些揭示人工智能模型潜在决策过程的模型，主动检查并试图弄清楚机器在做什么(也就是‘活跃用户’)。
XAI系统遵循朱教授所说的“被动机器-主动用户”范式，要求用户不断与人工智能进行签到，以了解其决策背后的过程。在这种情况下，用户对人工智能过程的理解和对其预测的信任不会影响人工智能未来的决策过程，这就是机器被称为“被动”的原因。
相比之下，袁博士、朱教授和他们的同事介绍的新范式遵循的是该团队所说的活跃机器-活跃用户范式。这本质上意味着他们的系统可以根据用户的反馈主动学习和调整决策。这种适应环境的能力通常被称为第三波/下一波AI的特征。
为了让人工智能系统像我们期望的那样帮助用户，目前的系统要求用户按照专家定义的目标编码，这限制了人机合作的潜力，因为在许多任务中，这样的目标很难定义，使得大多数人无法使用人工智能系统。为了解决这个问题，我们的工作使机器人能够在协作过程中实时估计用户的意图和价值，省去了预先向机器人编码复杂和特定目标的需要，从而提供了更好的人机合作模式。
袁博士和他的同事们创建这个系统的目标是实现所谓的“价值校准”。这本质上意味着人类用户可以理解为什么机器人或机器会以特定的方式行动或得出特定的结论，而机器或机器人可以推断出人类用户为什么会以特定的方式行动。这可以显著增强人与机器人的交流。
为了训练和测试他们的XAI系统，研究人员设计了一个名为“侦察探索”的游戏，在游戏中，人类需要在团队中完成一项任务。这个游戏最重要的一个方面是，人类和机器人需要调整他们所谓的“价值功能”。
在游戏中，一群机器人可以感知环境，这模拟了真实世界的应用，在那里，一组机器人应该自主工作，以尽量减少人类的干预，然而，人类用户不能直接与环境互动，相反地，用户被赋予了一个特定的价值函数，由几个因素的重要性来表示(例如，完成时间的总时间，以及在运行中收集到的资源)。
在侦察探索游戏中，机器人团队并没有接触到赋予人类用户的价值函数，需要他们去推断。由于这个值不容易表达和交流，所以要完成任务，机器人和人类团队必须相互推断。
在游戏中，交流是双向的:一方面，机器人向用户提出多个任务计划，并解释每个计划的利弊，另一方面，用户对这些建议给出反馈，并对每个解释打分，这些双向沟通实现了所谓的价值对齐。
从本质上讲，要完成“侦察探索”中的任务，机器人团队必须简单地根据人类的反馈了解人类用户的价值功能是什么。同时，人类用户通过学习机器人对当前值的估计，并提供反馈，帮助机器人改进，最终引导机器人做出正确的反应。
我们还将心智理论整合到我们的计算模型中，使人工智能系统有可能生成正确的解释，揭示其当前价值，并在交互过程中根据用户的反馈实时估计用户的价值。
在最初的评估中，袁博士、朱教授、高博士和他们的同事创建的系统取得了显著的效果，在飞行中的侦察探索游戏中实现了价值观的对齐，并以互动的方式进行。研究小组发现，在游戏进行到25%的时候，机器人就与人类用户的价值函数保持一致，而在游戏进行到一半的时候，用户可以对机器的价值函数获得准确的感知。
这个研究团队最近的工作是对研究领域的一个重大贡献，重点是开发更容易理解的人工智能。他们提出的系统可以作为其他XAI系统的灵感来源，在这些系统中，机器人或智能助手可以积极地与人类互动，分享他们的过程，并根据用户的反馈改善他们的表现。
袁博士解释说，价值校准是我们迈向人类与机器人合作的第一步。”在这项工作中，价值对齐发生在单个任务的上下文中。然而，在许多情况下，一组代理在许多任务中进行合作。例如，我们希望一个家用机器人帮助我们做很多日常家务，而不是购买很多机器人，每个机器人只能做一种工作。
到目前为止，研究人员XAI系统已经取得了很有前景的结果。在他们的下一步研究中，袁博士、朱教授、高博士和他们的同事计划探索可以应用于许多不同现实世界任务的人-机器人价值匹配的实例，这样人类用户和人工智能代理就可以在合作不同任务时积累关于彼此过程和能力的信息。
在接下来的研究中，我们还寻求将我们的框架应用到更多的任务和实体机器人上，除了价值观，我们相信，将人类和机器人之间的心理模型的其他方面(例如，信念、欲望、意图)统一起来也将是一个有前途的方向。
研究人员希望他们新的可解释的人工智能范式将有助于增强人类和机器在许多任务上的合作。此外，他们希望他们的方法将增加人类对基于人工智能的系统的信任，包括智能助手、机器人、机器人和其他虚拟代理。
