多模态人机交互中的大模型学习系统与应用

今天是汇聚 IOT 的时代，在物理世界机器传感、互联的情况下，如何设计新的智能产品，如何更好的提升用户体验，是各行各业一个非常重要的话题。

“如何实现性能驱动的高附加值制造？” 是2022年高端制造前沿的十大科学问题之一。这一问题和 User Experience非常相关。例如苹果公司，它的制造技术包给了富士康，现在富士康的郑州工厂有30、40万的工人每天在做制造的部分。但 iPhone的价值，不在于制造的技术，而是在它的用户体验，是用户体验造就了苹果的成功。

从这个角度来讲，如何让中国制造从简单的加工完成一些技术指标到功能再到如何实现用户体验的最大化，这些问题不仅对用户体验部门，而且对中国的整个高端制造全生命周期都有着重大的意义。

在应用的领域方面，未来真正的人工智能和机器人已经从工厂延伸到社会的各个角落，从制造到未来交通出行、医疗应用、农业应用、家庭应用、教育应用。

如何把 User Experience作为一个交叉学科贯穿到各行各业，是一个特别值得深入讨论的问题。未来的人类社会生态的新平衡，需要深度融合人工智能大数据、VR/AR、机器人、可穿戴设备、5G通讯、User Experience、能源、新的材料等。

在中德的跨模态学习的项目中，我们每天在做的都是元宇宙的一些技术，今天把多模态的元宇宙作为 User Experience的重要概念，还是值得一提的。

一、多模态人工智能的兴起对智能产品的影响

当下的人工智能不仅和工科方面相关，而且和人文学科交叉，包括认知学科、心理学科、生物学科、语言学、脑科学，甚至和艺术与设计的融合也变得越来越深入，越来越有价值。在另外一个信息空间里，除了现有的掌上手机、可穿戴设备等，可以融入更多智能方面的产品、模块、大模型的认知甚至到意识等，使得未来在交互方面，不只是 Audio Video的信息的交互，而且有物理的交互。

具身智能（Embodied Intelligence），是现在国内一个特别火爆的课题，实际上这个行业已经提出了有20年之久。未来从信息的交互到物理的Embody的交互是一个重要的方向。如何理解人类的心智和大脑的多传感过程，这是参考未来的多模态设计非常重要的一个方向。未来的整个多模态的界面，除了视觉，听觉和触觉之外，还会有更多的高层，包括 BCI，脑机接口，手势，感情，甚至物理动作等。这些都是未来设计和用户体验的重要话题。

我的博士生菲利普做了一款可以伸拉的、柔性强的触觉皮肤，可以戴在手上且不影响正常操作，可以量化触觉的信息。对于未来的 User Experience的量化也是一个重要的工具。

1. 人工智能的数据

因为摩尔定律，计算机整个在硬件和算力方面的增长，遵循了一个指数规律。从数据的存储方面几乎是一个摩尔定律的增长。以前一台计算机从几十K到今天几十T，可以把收集来的任何 Audio Visual、还有多模态的数据都能整合起来，能够自动分类，甚至到自动决策，使得我们在大计算的计算引擎方面有了足够多的燃料，在智能制造和数据信息处理方面有着日新月异的发展。

2. 算法方面

智能技术使得现在人类的语言和它的信号听觉处理方面有了一定的进展，现在的大模型是做一些行为 Level，能够模拟人的语言功能的一部分，但是未来真正要实现的人脑的多模态功能，实际上要把听觉、视觉，还有物理的控制都要整合在一起，这也是现在跨模态学习的一个机制，也是多模态系统的一个重要的具身智能的研究点。这种基于经验的学习，包括机器人和人在不断地交互之间如何能够学到高层的知识，是未来用户体验量化的一个很好的例子。

3. 例证

我们和欧盟有个项目。通过人和机器的学习，让机器人学到了八种知识，包括空间模型、语言模型、动作模型、对时空的理解，如先上盘子，咖啡要在热的时候上，放在客户的哪一个位置等等。未来的智能设备，它不只是一个简单的、被动的设备，而是有具体的认知模型，这叫 Finest Idea Model，即智能系统跟真正世界的模型的误差，应该通过学习降得越来越小。

现在的大模型，包括它如何摆脱计算成本，尤其是能够在具身智能里面进行应用，都将面临着巨大挑战。我们最近也发了一篇 Robot GPT，如何使用GPT，使得它的交互变得更便利，能够自动产生出各种各样的制造的成本。

还有我们现在的 ChatGPT for Industry，通过公司可以用自然语言跟工业的数据进行 Chat，来找出你当天不良率的原因是什么，这些对未来的制造和用户界面有着非常的重要的一个引导意义。

二、未来：具有更多跨界的能力

如何让新一代的人工智能里的语言和可解释性能够实现，让更多的深度的人机交互的场景能够实现，这些都给用户体验交互设计提出了一个非常高的要求，这也是我们和用户体验和设计界能够合作的点。很多人说，现在二维设计已经是前 ChatGPT的天下了，我想对这些年轻人讲，未来你们的设计要增加自己的模态，包括触觉与质感的模态。

你们要懂算法，知道人工智能能干什么，不能干什么。另外要学会怎么使用GPT，而不是拒绝 ChatGPT，要发挥你们更大的想象力并且具有更多跨界的能力。

不能只学设计，要理解整个人类的更深层的需求。这不管是在未来的设计教育，还是用户体验的研发方面，都具有非常重要的意义，这也是我们要跨界合作的最重要的一点。

作者：张建伟

来源公众号：用户体验大学堂，专注用户研究和用户体验设计。

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！