工研院助创新科技虚实整合 开创娱乐五感新体验

工研院电子与光电系统研究所所长吴志毅表示，2023年AR/VR/MR等硬体全球出货量持续攀升，更从商用市场拓展到消费市场，扩增实境装置应用在多元领域潜力越来越大，各家厂商无不在软硬体方面投入资源，布局关键新技术，除了持续推动近眼显示及次世代感知等关键硬体优势外，同时也聚焦在制造及育乐等应用软体的开发，以虚实整合的方式，让创新数位科技实际落地应用。今年因为疫情导致许多展会取消或延期，许多业者更整合线下与线上的AR（扩增实境）、VR（虚拟实境）、MR沉浸式体验，带动产业跨域整合从上到下游的关键技术，不但开拓多元商机，也让民众体验创新应用技术的乐趣及便利。

吴志毅指出，台湾AR/VR产业主要由硬体业者构成，上下游产业地图在硬体供应相当完整；随着虚拟实境应用未来将走入完全沉浸的互动体验，带起多元互动介面的演进，台湾在软体领域多集中于游戏、影视动画与整合行销上，对于关键的互动内容制作工具、3D虚实叠合定位、虚实融合触觉回馈技术、虚实融合成像与声响技术，仍有许多可以发挥的空间。此次研发的触觉感测与回馈手套并协助厂商开发出下世代MR眼镜，结合虚拟实境业者的应用整合技术，打造出「MR夹娃娃机—快乐农场」游戏，希望建构更多元的五感体验乐趣，进而促进产业打造更完整的产业链。

「MR夹娃娃机—快乐农场」是与游戏业者共同建立虚实混合示范验证与MR互动娱乐的游戏，玩家可依照难易度选择不同的3种关卡，越快完成任务就获胜。首先，在夹娃娃机内放实体标记，用六自由度空间定位让虚拟娃娃对应至实体标记，进行虚实物件的结合后，以增强虚拟场域的真实沉浸感。玩家们在配戴MR眼镜后即可看到快乐农场的草地、树木、小屋与流水等景色，接着透过3D虚实叠合定位，利用手套感测与手指弯曲侦测，控制虚拟娃娃机夹爪的移动与开合，利用震动回馈来模拟抓取物体的碰撞，震动回馈可达到拟真度90%以上；在听觉部分，更利用声源与摄影机间的相对位置与距离，模拟或合成出虚拟融合的3D空间声响，创造更逼真的闯关效果。