管风琴演奏结合生成式AI 工研院颠覆古典音乐会体验

工研院颠覆传统古典音乐会听众体验，设计由GAI所生成适合乐曲意境的景象，让观众享受乐曲的同时可看到更具意象的画面，提升沈浸感。（工研院提供／邱立雅竹县传真）

工研院与知名福尔摩沙管风琴演奏家余晓怡合作，运用生成式AI技术（Generative AI；GAI）让演奏家化身虚拟人像，在1日登场的「2023 福尔摩沙国际管风琴艺术节闭幕音乐会」，管风琴演奏家余晓怡的虚拟偶像造型将首度亮相外，在亚洲最大管风琴音乐厅卫武营的舞台上，透过GAI随乐曲变换生成不同动画，打造与古典音乐高度融合的影像体验。

工研院产业科技国际策略发展所所长林昭宪表示，数位原生的虚拟偶像受欢迎，真人偶像如足球明星Neymar、NBA明星球员Luka Dončić、美国歌手小贾斯汀和Ariana Grande、韩国女团aespa都打造了虚拟化身，在MV、虚拟演唱会、社群网站、时装展和NFT中亮相，在虚拟世界替代本身，扩大与粉丝的互动。

工研院服务系统科技中心执行长郑仁杰表示，这次工研院与福尔摩沙管风琴演奏家余晓怡合作，将 GAI文生图（Text to Image）实际应用到音乐表演现场，主要可分为两个部分，一是在前台设置透明投影萤幕，让演奏家余晓怡虚拟分身，透过大量照片训练后，由AI生成专属于余晓怡且像她的虚拟模型，搭配GAI语音转动画自动生成与工研院前瞻计划的语音风格转化技术，只要提供文稿或一段语音，虚拟偶像便会以各种不同的造型及声音。

郑仁杰表示，另一亮点在舞台上，过去演奏家表演时，舞台背景显示的音景通常是与画家配合，针对演奏曲目去挑选或创作合适意境的画，而这次工研院针对古典乐特性，去对GAI下指令（prompt）生成相对应的景象，并显示在管风琴的后上方，让观众享受乐曲的同时可以看到更具意象的画面，进而提升沈浸感。