观赏人机共生音乐会是怎样一种体验？
近日，香港浸会大学交响乐团（浸大交响乐团）周年音乐会2022于香港大会堂盛大举行。今年的音乐会是浸大交响乐团与人工智能共同协作的倾力演出。什么是人工智能（AI）虚拟合唱团和舞蹈家？什么是AI媒体艺术家？三者将如何合力呈现这场全球首场的大型人机共创共演歌舞？浸大副校长郭毅可教授领导的「创造性智能实验室」研究团队给出了详尽的答案。
全球首场大型人机共创共演
https://www.zhihu.com/video/1533401447072423937
什么是人机共生音乐会？
近年来，随着浸大在艺术科技领域的不断突破，今年浸大交响乐团的周年音乐会可谓别具创意，除了展现浸大学生音乐家的优秀艺术才华，更特别加入科技元素，联同人工智能（AI）虚拟合唱团和舞蹈家，以及AI媒体艺术家，合力呈献大型人机共创共演的歌舞表演。
如何创建人工智能虚拟合唱团？
浸大交响乐团与AI虚拟合唱团在音乐会中同台献技，合力演绎新编的管弦乐合唱《东方之珠》。研究团队通过线上及线下不同渠道收集专业歌唱的录音演唱，并解析了声乐演唱的重要影响因素，成功开发了声乐生成模型，创建了一个虚拟的四声部合唱团，并可灵活管理与协调其中所涉及的每一个虚拟歌手的音准、旋律、及其艺术表现力。除了采用源自训练数据的音色外，同时以声学方法生成具有全新音色的虚拟表演者。
AI媒体艺术家如何呈现四分钟音画效果？
AI媒体艺术家则从音乐旋律及歌曲中学习对《东方之珠》歌词的语义及美学理解，创造出跨媒体的视觉影像，为歌曲赋予美的想象。研究团队首先提出了用于艺术创作的控制论智能框架。除了控制论中所强调的算法与环境交互优化的基本概念之外，团队亦相信，人工智能任务表现可经由与艺术家交互式共生协作的迭代过程实现，其系统反馈及稳定性可以层级结构表示。
“我们的模型与图灵机的主要区别在于，我们并非依靠对人类艺术品的模仿而实现创作。相反，我们的系统可以通过迭代式人机交互以拓展人类的创造力，并最终将人机共生创意汇聚于抽象美学特征空间。”
这是团队向实现“超级人工智能艺术家”目标迈出的重要一步，同时将推动未来创意媒体的新篇章。
人工智能编舞如何创造自然且具艺术感的舞蹈？
音乐会另一高潮，是AI舞蹈家在浸大交响乐团的现场伴奏下，呈献拉威尔的《达芙妮与克罗埃》芭蕾舞表演。
AI的芭蕾舞动作灵感来自在香港新发现的一个箱形水母物种。研究团队运用人工智能技术根据自然风景转动、音乐旋律与节奏中的模式识别，并结合音乐中所蕴涵的情感表达来编排舞蹈。为此，团队建立了一个大型的动作捕捉数据资料库。通过与专业舞者及音乐家合作，采集舞者根据他们对音乐的独特理解而呈现的不同舞蹈风格，同时获悉他们在艺术创意实践中的审美特征。
人工智能算法使我们能够解码音乐与舞蹈之间潜在的情感及美学联系。为确保生成的舞蹈轨迹精准且自然，团队研究了有助执行人类生理及骨骼结构制约因素的人工智能筛选算法。为丰富舞蹈动作的表现力，还观察并学习了基于韵律对齐、舞蹈序列转换及组合的音乐舞蹈规则，并成功从数据资料集中提取这些规则，将其应用于舞蹈生成模型中。如此，人工智能编舞家可以根据自己对音乐的理解创造出自然且具艺术感的舞蹈系列。
藉此，联同人工智能（AI）虚拟合唱团和舞蹈家，以及AI媒体艺术家的合力呈献，观众获得了沉浸于跨媒体艺术环境中的欣赏体验。
实现人机“共创共演”对浸大跨学科研究团队意味着什么？
这场演出的AI技术，由浸大副校长（研究及拓展）郭毅可教授领导的「创造性智能实验室」的研究团队提供。
郭教授领导的「 香港人机共生艺术创造平台技术建设 」研究计划，获研究资助局（研资局）的第十一轮「主题研究计划」拨款港币$5,284万元，进行为期五年的研究。研究计划的副统筹人、浸大创意艺术学院创院院长潘明伦教授，则身兼浸大交响乐团及香港巴罗克室乐团音乐总监及指挥。
这是全球首次由AI合唱团，结合机器创作的视觉叙事而产生的沉浸式音画，在音乐指挥及交响乐团实时互动下完成的人机共创共演，同时，这也成为了「 香港人机共生艺术创造平台技术建设 」研究计划的重要阶段成果。
