不同于传统 AI 模型通常只处理单一类型的数据，多模态 AI 能够结合并分析不同形式的数据输入，从而获得更全面的理解并生成更可靠的输出结果。

例如，多模态模型可以接收一张风景照片作为输入，并生成一份关于该地点特征的书面摘要。或者，它可以接收景观的书面概述，并根据描述生成图像。这种跨多种模式工作的能力为这些模型提供了强大的功能。

OpenAI 于 2022 年 11 月推出了 ChatGPT，使生成式 AI 声名鹊起。ChatGPT 是单模态 AI，旨在接收文本输入，并使用 自然语言处理 (NLP) 生成文本输出。

多模态 AI 支持多种输入和输出类型，使生成式 AI 更加强大实用。例如，Dall-e 是 Open AI 对其 GPT 模型的初步多模态实现，但 GPT-4o 也为 ChatGPT 引入了多模态功能。

多模态 AI 模型可以结合来自各种数据源和媒体的信息，从而可以对数据实现更全面细致的理解。这使得 AI 能够做出更明智的决策并生成更准确的输出。

通过利用不同的模态，多模态 AI 系统在图像识别、语言翻译和语音识别等任务中可实现更高的准确性和稳健性。整合不同类型的数据有助于捕捉更多背景信息，减少歧义。多模态 AI 系统能够更好地处理噪声和数据缺失。如果一种模态不可靠或不可用，系统可以依靠其他模态来维持性能。

多模态 AI 可实现更自然、更直观的界面，带来更好的用户体验，从而增强人机交互。例如，虚拟助手可以理解和响应语音指令和视觉提示，从而使交互更顺畅、更高效。

想象一下，一款聊天机器人既可以与您谈论您的眼镜，还可以根据您分享的照片提出尺寸建议，或者一款鸟类识别应用程序既可以通过图像来识别特定鸟类，还可以通过“聆听”鸟叫声的音频剪辑来确认其种类。可跨多个感官维度运行的 AI 可以为用户提供更有意义的输出，以及更丰富的数据处理方式。

人工智能 是一个快速发展的领域，其中用于构建基础模型的训练算法的最新成果正在应用于多模态研究中。在 深度学习 和数据科学为 生成式 AI 铺平道路之前，该学科就曾出现过一些多模态创新，包括视听语音识别和多媒体内容索引等。

如今，从业人员将多模态 AI 应用于各种用例中，从分析医疗保健领域的医学图像，到在 AI 驱动的自动驾驶汽车中使用 计算机视觉 和其他感官输入。

卡内基梅隆大学  2022 年发表的一篇论文描述了多模态 AI 的三个特征：异构性、连接性和交互性。 ¹ 异构性 是指模态的不同品质、结构和表征。对某一事件的文字描述与同一事件的照片在质量、结构和表现形式上有着本质的区别。

连接 指的是不同模式之间共享的互补信息。这些联系可能反映在统计相似性上，也可能反映在语义对应上。最后， 交互 是指不同模式在组合在一起时如何交互。

多模态 AI 的核心工程挑战在于有效地整合和处理各种类型的数据，以创建既能利用每种模态的优势又能克服其各自局限性的模型。论文作者还提出了几项挑战： 表示、排列、推理、生成、转移和量化 。

• 表征 涉及如何表示和总结多模态数据，旨在反映模态之间的异质性和相互联系。从业者需要使用专门的神经网络（例如，用于图像的 CNN、用于文本的转换器）来提取特征，并采用联合嵌入空间或注意力机制进行表征学习。

• 对齐 旨在确定各要素之间的联系和互动。例如，工程师在视频和音频数据中使用时间对齐技术，在图像和文本中使用空间对齐技术。

• 推理 的目的是利用多模态证据构建知识，通常需要经过多个推理步骤。

• 生成 包括学习生成过程，以产生反映跨模态交互、结构和连贯性的原始模态。

• 转移 的目的是在各种模态之间传递知识。先进的传递学习技术和共享嵌入空间使知识得以跨模态传递。

• 量化 包括实证和理论研究，旨在了解多模态学习，从而更好地评估其在多模态模型中的表现。