元宇宙中的情绪与情感探索在军事上的应用

　　元宇宙作为真实世界与虚拟世界的融合，在军事应用中充满了无限潜力。元宇宙为大量的模拟训练提供了沉浸感和真实感，使战斗训练更加逼真，事半功倍。2014年，美国海军研究办公室开发了“蓝鲨计划”，该系统允许水手在虚拟环境中驾驶船只并进行协作。另一项名为“复仇者计划”的系统现在被用于帮助训练美国海军飞行员。美国空军正在使用虚拟现实技术教飞行员如何管理飞机和任务。虚拟现实也被用来帮助治疗退伍军人的慢性疼痛和创伤后压力。波音公司已经创造了一个增强现实环境，让机械师在踏上真正的飞机之前在飞机上进行练习。

　　我们可以看到很多元宇宙所需的关键技术已经在国防领域被应用，然而纵观当前的研究，情绪与情感研究似乎成为了被忽略的一点。可没有真情实感的元宇宙世界不过是一场虚拟的电子模拟，士兵就像参与了一场大型游戏，很难同真实战场联系起来。脱离了情感的世界，虚拟是虚拟，现实是现实。因此要想利用元宇宙来完善新的军事作战概念，必须重视元宇宙中情感情绪的影响。

　　不论是现实世界还是虚拟世界，我们都不能避免情绪与情感的影响。自古以来，“攻心”就已经成为兵法中的上策，除了我们熟悉的“四面楚歌”，“致师”、“讨敌骂阵”等方法也屡试不爽。巧妙地运用情绪打好心理战，即可不战而屈人之兵。因此，在探索元宇宙在军事运用的潜力上，决不能忽视元宇宙中的情绪与情感研究。

　　01

　　情绪与情感研究的重要性

　　人的情绪对决策的影响

　　情绪与情感是人类不可避免的心理状态，对人的生活产生了极大的影响。Eysenck等人[1]提到，情绪非常短暂，但是感受强烈，而情感是持久的。相对来说，情绪比情感更易外显[2]。相较于情感，情绪更不可控，情感往往会受到理智的把控，因而对于大局决策来讲，需要深思熟虑，即使有情感的影响也会被理性牵制，而在即时决策上，情绪的影响更为强烈。美国著名决策研究专家R.Hasfie[3]提出了决策领域未来需要解决的16个问题，情绪是其中的问题之一，也是目前正在日益受到重视的问题。

　　情绪被分为积极情绪和消极情绪，两者对决策的影响是不同的。2002年，Forgas[4]研究发现积极情绪会让决策者很放松并采用低水平的思维加工方式，而消极情绪对决策者的认知具有强烈的唤醒和破坏作用，从而导致决策者更深层次的思考。2003年，Isen [5-7]等证明积极情绪在许多场景下可以提高认知的灵活性，对问题提供更好的解决方法从而促使决策的完成。庄锦英[8]和毕玉芳[9]通过实验验证了积极情绪引发风险寻求倾向，消极情绪引发风险规避倾向。2014年，毛华配等人[10]研究得出，消极心境的被试者的决策行为更加保守。

　　也就是说，在积极情绪下，决策者的直觉和创造力会增强，认知更加灵活，但也会放松警惕，有风险寻求倾向，容易犯逻辑性错误。在消极情绪下，决策者容易丧失自己的直觉，但是会进行更深层次的思考，决策行为会更加保守，规避风险。正如Kustubayeva 和 Matthews 等[11]的研究发现，在负性反馈条件下，积极情绪的决策者会搜索更多的正面信息，但处于正性反馈条件下时，则会出现相反的结果。不管是积极情绪还是消极情绪，都是具有两面性的，一旦把控不好，就会对决策造成负面的影响。

　　战场环境千变万化，针对每一种不同的环境态势都要做出相应的决策，每一个细微决策都可能会造成影响巨大的后果。在此时，即时情绪的影响是不容忽视的，比如战友牺牲的悲伤情绪，敌方压制处于劣势的焦虑情绪，新兵刚参加战斗的恐惧情绪，战场紧急情况下的高压紧张情绪，失败时的损失厌恶情绪等，见表1。即时情绪会因为受到环境影响不可控制的产生，很大的影响人的状态和决策。

　　研究情绪波动对于人决策的影响，有助于更好的应对战场瞬息万变的环境局势。做好情绪训练，可以在战场出现引起情绪波动的状况时能够更加冷静的应对。情绪研究与训练有助于应对新兵在初期训练时面对战场的恐惧紧张等情绪的产生，使新兵快速熟悉战场。对于战争进行中的突发状况诱发的情绪，可以进行识别和快速干预，防止情绪失控、冒进等情况发生，把控情绪处在产生正面影响的状态，激发出最有斗志、最冷静的状态进行决策，并随着环境动态调整。

　　人-自主系统团队的情感交互

　　随着人工智能研究的快速发展，在智能装备和智能系统渐渐普及的今天，自主武器和自主系统渐渐成为主宰未来战场的关键技术。2016年美国国防部长卡特提议了三种方法去弥补自主武器的短板：一是推动智能化和重要的技术创新，二是更新和完善作战战略、作战概念和技术，三是打造未来部队的战斗力，改革国防部企业。这其中包括五种构建块内容：1)自主深度学习系统2)人机协作3)协助人类操作4)人机协同作战5)网络使能的半自主武器。这五个项目中有四个项目清楚地表明了自主系统、人机协同和机器辅助人体增强的重要性，这也意味着人-机-环境系统交互融合的重要性。

　　自主系统的登场使得人与机器的关系不再是以往的人支配机器，而是形成了人-自主系统小队，研究证明，二者合作工作比人类或自主智能体单独工作更成功[12]。团队关系的产生代表着人与自主系统的交互越来越重要，好的交互产生正向的信任和情感，可以促进二者的合作。人机混合智能应运而生，可以结合人和机器的长处，动态调整人机协作关系。

　　在人工智能领域，情感问题逐渐成为人工智能更加“智能化”的研究重点。情感化问题的研究旨在面向语言、逻辑、价值等意向性方面，使人工智能可以更加拟人化。随着人与机器人的交互增多，人们会赋予机器情感和个性，并对机器人产依恋[13]。有研究表明，与机器人进行简单的眼神交流就可以诱发人的积极情绪[14]。因此有必要在人-自主团队协作中加入情感因素，这意味着自主团队成员能够融入人类的情绪，并相应地调整自己的行为[15]。

　　在自主战场，与智能辅助决策系统的情绪交互至关重要，随着环境变化及时检测士兵情绪波动进行干预或辅助决策。除此之外，对于初期与智能辅助决策系统或者自主系统合作的人，要避免情绪的锚定效应。正如“一朝被蛇咬，十年怕井绳”，不管是人与人还是人与机器，刚开始的合作和接触的“第一印象”会引起思维定式，后续改观会很困难。丹尼尔·卡尼曼[16]提到一旦加入情感因素，结论对论证的主导作用便会最大程度的凸显出来。心理学家保罗·斯洛维克(Pual Slovic)提出了“情感启发式”的概念，认为人们的好恶决定了他们的世界观。因此对于士兵的合作，以及和自主智能体的合作，要在初期充分建立好的情感交互和充分的信任，如表2所示，将信任与情感控制在最好的范围，以便更快的适应团体协作。

　　02

　　现实世界与元宇宙的情感交互模型

　　尽管元宇宙让人觉得十分新奇，实际上元宇宙使用的技术我们并不陌生，元宇宙就是多个学科技术交叉融合的产物。元宇宙的诞生将促进虚拟世界和现实世界的连接融合，这离不开虚拟世界和现实世界的交互。两个世界的交互不单单需要虚拟世界和现实世界在视觉、听觉、触觉、嗅觉统一，更需要虚拟世界和现实世界在价值、情感上统一，如图1所示。

　　图1 虚拟世界与现实世界的人机环交互

　　Fig. 1 Man machine environment interaction between virtual world and real world

　　情绪交互关系到我们在元宇宙交互时的感受和反应，它涵盖了用户体验的不同方面，包含从我们最初使用元宇宙整个过程的感受，还包括我们在使用过程中可能会产生的情绪依赖，以及如何通过使用情绪反馈来改变人类的行为并降低情绪负面影响。现实世界与虚拟世界统一的价值情感体系建立在两个世界的情感交互上，现实世界与元宇宙在情感上相互渗透相互影响，通过不断的刺激、反馈、整合、优化，构建出统一的情感交互标准。

　　Abowd和Beale[17]的交互框架是人机交互领域最著名且应用最广泛的框架，我们在此基础上,建立了现实世界与元宇宙的情感交互模型，如图2。此模型旨在帮助理解在现实世界与元宇宙的情感交互过程中发生了什么，方便定位在交互过程中产生问题的根源。元宇宙可以理解成一个机器系统，虚拟世界的产生离不开机器，整个元宇宙系统要做到可感知的、可操作的、可理解的。此模型的关键在于，注意到用户所观察到的情绪状态与元宇宙中展现的情绪状态是不同的，关注双方如何表达自己的感受和解读彼此的情绪和行为。现实世界的情绪状态需要经过处理才能使机器或者系统理解，同样的，系统接收到用户的情绪状态，也将经过一系列处理才能呈现被用户理解感知。

　　图2 现实世界与元宇宙的情感交互模型

　　Fig. 2 Emotional interaction model between real world and meta universe

　　首先，现实世界用户的情绪状态通过情绪语言(表情、声音、行为等)传达给输入，而元宇宙系统需要通过情绪转译将其转化为系统可以理解的机器语言，元宇宙系统经过对转译过来的情绪进行感知、评估，产生行动序列，随后表达情绪呈现给输出。同样的，系统表达的情绪需要转化为现实世界可以理解的情绪状态，继而被用户感知。

　　Norman[18]建立了分析人做决策过程的心智模型。为了更好的剖析情绪与情感的具体交互情况，我们将交互过程中情绪与情感的产生过程细化，结合Norman[18]的心智模型形成了交互过程中的动态双向情绪传递模型，如图3所示。

　　图3 动态双向情绪传递模型

　　Fig. 3 Dynamic two-way emotion transmission model

　　此模型分为七个阶段，第一阶段是用户与交互对象接触，用户进行多模态感知，即进行认知评估，理解交互对象的情绪和行为;第二阶段是用户产生情绪，包含一些身体的自动反应;第三阶段是用户的情绪表达，这其中包括表情和声音等变化，不但传达了主观看法还预示着行动倾向，情绪的表达存在个体差异;第四阶段是交互对象接收了用户的情绪反馈;第五阶段是交互对象产生了新的情绪状态;第六阶段是交互对象表达传递情绪及相应的行为反应;第七阶段是用户再次进行新一轮的感知与认知评估。七个阶段循环往复，情绪状态不断积累，最终形成了各自对彼此的情感状态。

　　根据现实世界与虚拟世界的情感交互模型，从情绪语言转译为机器语言是现实世界到元宇宙情绪交互的一道鸿沟。这其中最重要的两个阶段，一是将真实世界用户的情绪状态数字化，即通过多模态情感识别技术收集用户情绪状态。二是通过锚定和贝叶斯原理构建虚拟情感。以上两点构成了元宇宙情绪与情感研究的两大重要技术支撑。

　　03

　　未来元宇宙情绪情感研究的重要技术支撑

　　现实世界中的人和物将会以另一种虚拟身份的形式存在于元宇宙，这将构建成一种新型的虚拟社会，并在新的虚拟社会中重塑数字经济体系、社会关系等[19]。情感是在人的个性倾向性中产生的，想要研究好情感，必然离不开人。而元宇宙中的人将存在两种类型，数字分身和虚拟原生人。

　　数字分身是指现实世界中的人类在虚拟世界的用户建模，他的外观形象、性格、情感状态、社会关系等将于现实无异，是以现实世界中存在的真实形象进行的虚拟建模。这种建模的真实程度与现实世界的用户愿意共享多少信息紧密相关，收集到的共享信息越多，数字分身的建模越真实。这种建模需要开发和整合三种类型的模型，一个关于用户知道什么的认知模型，一个关于用户正在做什么的物理模型，以及一个关于用户的注意力和情绪状态的模型。

　　虚拟原生人是指完全脱离现实世界存在的，被凭空构建出来的虚拟形象。虚拟原生人的存在可以使元宇宙更加丰富，激发更多可能。虚拟原生人的构建有几个难点。第一是知识迁移，需要让虚拟原生人理解人类具备的基础知识、常识等。第二是感知基础，虚拟原生人需要完整的感知输入，并将观察到的情境状态映射为信息。第三是知觉注意，虚拟原生人必须能够注意与当前交互者相关的知觉输入，还需要能够对意外发生的事件做出响应。第四是情感构建，让虚拟原生人生成自己的情感意识与价值体系，具备一定自主性。

　　为了使用户获得真实性和沉浸感，不论是虚拟原生人还是数字人，情感交互和情绪体验是必须要考虑的设计。然而元宇宙涉及虚拟世界和现实世界，这其中的情感和情绪也涉及到虚拟情感和真实情感。真实情感即现实世界人类产生的情感，包括人对人(现实人/虚拟人)的、人对物(现实物/虚拟物)的以及人对环境(现实世界/虚拟世界)的情感。对应的虚拟情感则是虚拟世界中的人、物等表达出来的，让现实世界中人感觉到的情感。

　　对于未来元宇宙中情绪与情感的搭建，离不开两个关键点，一是现实世界的情感提取识别，二是虚拟世界情感的生成构建。

　　真实情感识别的关键技术———多模态情感识别

　　为了保证虚拟世界和现实世界的充分相似和一致，识别现实世界的情绪和情感并使其同步到虚拟世界中，在虚拟世界表达现实世界的情绪和情感，是当前非常重要的问题。只有在现实世界将情感状态识别的准确，在虚拟世界的情绪表达才不会让人觉得突兀。

　　现如今多模态情感计算的发展十分迅速，多模态情感识别[20]通过提取图像、视频、音频、文本和生理信号等多种模态数据中的情感信号进行分析处理,来识别人类情绪。研究者们关注于构建多模态情感研究的数据集[21],通过对数据集的数据获取和情感标注，完成对情感状态的分类、回归、检测和检索任务。其中显性模态包括对于面部的表情跟踪和特征提取、手势跟踪、肢体姿势的姿态跟踪和特征提取、语音情感声学参数提取、生理信号提取，隐性模态包括所获取的用户发表的图像、视频、文本等用户信息，可将两类模态优势互补结合，进行特征融合模型融合和决策融合继而得出情感状态。

　　在人们进行情感表达的过程中，面部表情的作用最大，有研究认为其对情感表达的贡献超过五成，说话方式即语音情感次之，贡献不到四成，说话内容即文本表达的作用仅占一成。因此当前更多的是通过面部表情识别来分析情绪状态。然而情感和情绪都可以隐藏，因此单单依靠单一线索获得的情绪和情感信息或许是虚假的，我们需要探究更多捕捉情绪和情感的办法。在很多环境下人们会选择隐藏其真实情感，而却不能避免的产生微表情这种自发反应[22][23]。和已经比较成熟的面部表情识别相比，微表情持续时间极短且动作幅度小，当前对于微表情检测识别以及微表情数据集的构建还存在一定困难。

　　同微表情一样的人体自发反应就是生理信号，面部识别存在的幅度小、表达不明显的问题可以由脑电等生理信号来解决，注重生理信号的研究挖掘对于识别分析情感状态是非常重要的一环。情感的产生和表达存在个体差异，因此单纯的图像标注有时并不能正确反应个体真实情绪状态，需要与心理学相结合，更多的关注情绪产生者本身的真实感受，当然这就需要更多的被试构建更完善的数据库，目前还有很大的发展空间。

　　在进行多模态情感识别的过程中少不了可穿戴传感器的帮助，当前可穿戴传感器包括[24]：测量面部表情的摄像机;放在手指或手掌上以测量皮肤电反应的生物传感器;检测语音中的情感(语音质量，语调，音调，响度和节奏)的录音设备;放置在身体各部位的运动捕捉系统或检测身体运动和手势的加速计传感器。为了增加使用便利性和舒适度，测量情绪的穿戴设备不应太过复杂。过于沉重和繁琐的可穿戴设备会增加用户对于元宇宙系统的负向评价，不利于二者之间的交互。

　　虚拟情感构建的关键技术———贝叶斯与锚定

　　情感是真实世界与元宇宙交互中的重要因素，这就要求在虚拟世界也可以真实的模拟人类情感，即使互相交互的不是数字人而是虚拟原生人，也要带有真情实感。

　　一直以来我们关注于让机器人更加拟人，比如生成自主意识或者可以进行价值判断，抑或是产生情绪并表达。我们希望机器人可以自主生成而不是提前编码好并按设置运行，这的确充满了挑战，并涉及到伦理道德等一系列问题。排除掉让虚拟世界的原生人生出自主意识，我们当前只关注于虚拟世界的情感构建。Casper Hesp等人[25]关注于想象的、反事实的事件对于情感状态产生的影响，在研究中他们结合复杂推理的递归信念更新方案[26]创建了一个智能体[27]，它的情感状态因其对未来可能事件的内部策划而改变，这意味着已经有复杂情感推理模型出现。如此一来，通过搭载更多更完善的情感模型，今后虚拟世界的虚拟原生人就将会产生自己的情感。

　　在Hesp等人的研究中使用了贝叶斯自适应深时态树搜索来增强马尔可夫决策过程，然而在情绪状态的分析中，锚定效应和贝叶斯同样重要。贝叶斯是根据最多发生的事情来推断，当不能准确知悉一个事物的本质，贝叶斯依靠与事件特定本质相关的事件出现的多少来判断其本质属性的概率。而锚定则不同，锚定效应并不关注后续事件只关注第一印象，并且在做出决策判断时受第一印象的支配。为了力求虚拟原生人情感构建的真实性，情绪的锚定现象也需要考虑进去，作为影响虚拟人情绪状态的一个重要因素。

　　结合图3的动态双向情绪传递模型，情绪的锚定效应发生在初期的第一阶段，即用户与交互对象首次接触时，甚至在双方接触前，有可能会由于某些事件、行为或者收集到的某些关于对方的信息，导致双方产生的第一印象。随着后续交互逐级进行积累，贝叶斯依据事件概率的增加逐渐改观锚定的存在，或会产生与锚定导致的第一印象完全不同的感情。除此之外，情绪的激发具有爆发性，结束具有缓慢性，结合锚定与贝叶斯考虑情感状态的时序分析，也有助于提升虚拟情感构建的真实性。

　　贝叶斯与锚定是对情绪语转译为机器语言的重要原理依据。情绪往往是突发的，我们可以把情绪的变化看作离散过程，情绪的爆发总是难以预料的，即人机情绪交互存在冷启动问题，而锚定原理能够解决模型与人交互时的冷启动问题。情感相较于情感而言是连续的，根据互动缓慢调整的，贝叶斯则能够对连续的情绪变化进行建模。贝叶斯和锚定是实现虚拟情感构建的基础，熟练掌握理论根源，可以简化情感构建的过程。

　　04

　　结论

　　元宇宙是融合了真实和虚拟的人机环境系统，元宇宙始终离不开人-机-环境三者的交互融合。虚拟世界并不是一个独立的世界，数字世界永远不可能脱离现实世界而独立存在。为了更好地融合虚拟与现实，要做到虚中有实，实中有虚，虚实合一，虚实相生，让现实与虚拟实时交互，让虚拟的人-机-环境和现实的人-机-环境信息共享，互通有无。

　　美国国防部高级研究计划局(DARPA)[28]项目负责人Bruce Draper 表示，美国军方正在探索的元宇宙技术的真正价值在于融合现实和虚拟。虚拟世界对于训练非常有用，但是我们生活在现实的物质世界中，军事领域的本质是物理的领域，而不是抽象的元宇宙。许多在训练中看起来很简单的事情，在战斗状态中往往很不一样，因此不论元宇宙中的渲染刻画有多真实，都是从现实世界中来的，最终也要回归到现实世界中去。

　　我们需要保证平行战场中战士情绪和情感的表达同现实世界没有差异，包括士兵之间的情绪波动、情感交互，士兵与战时人机混合智能辅助决策系统的情绪交互，以求达到真实的体验感。其次，我们需要设计具有情感反馈的人机交互环境，即在训练士兵使用自主武器时加入情感元素，可以更好的构建人-自主系统小队。即使在虚拟世界，也必须保证自主武器与人的交互顺畅真实。

　　除此之外，元宇宙的情感研究也可以应用在士兵的心理训练上。许多理论家认为情绪会引发特定的行为，例如恐惧会让人溃逃，愤怒会让人变得有攻击性。利用元宇宙进行战前预演，可以使新兵克服恐惧快速上手，让士兵沉浸式感受各种战场的突发情况并进行情感模拟，体验优势状态、劣势状态、紧急状态、战友牺牲、伤员状态等并提前预演各种安抚对策，方便即时进行心理干预和战时情绪训练。降低情绪与情感的负面影响，提高正面影响，完善作战相关的心理训练。在战后可以利用元宇宙对士兵进行心理创伤精神安抚等心理治疗，杜绝心理阴影的产生，使士兵维持在最好的心理状态。

　　在人工智能崭露头角的现代战场，军事对抗已从传统物理域有形战场拓展到信息域、认知域[29]。打好认知战，就是打好心理战、情绪战，因此在军事训练中绝对不能忽视情绪与情感的影响。不管是训练辅助决策系统及时检测士兵情绪进行安抚或干预，将负面影响降到最低，或是增强士兵与自主武器的情感交互，亦或是提高士兵在任何环境下的情绪稳定性，元宇宙会通过沉浸式的交互体验，在环境受限的情况下帮我们做得更好。