看到照片你能听到什么?AI系统帮图片配对声音

▲一开始是透过 Google 街景来配对声音。(图/翻摄 nips2017creativity)

记者黄肇祥综合报导

想像力就是你的超能力美丽照片会让我们自然陷入情境之中,彷佛身历其境并且能想像画面里头的环境声音。日本的 AI 研究人员将试着将人类的想像力,透过 AI 系统制作出来,让人工智慧帮每一张图片产生独一无二的声音。

「Imaginary Soundscape」是由东京大学三名教授协力研究的成果网页运用机器学习,帮图片加上音效。AI 并没有实际探访,或是自行创造音乐,而是采用物体辨识的机制,判断出图片上的物件是什么,在将物件与拥有 52,000 个档案的的声音数据库进行配对。

记者实际操作下列三张照片,结果如下:

▲尽管是猫咪的照片,但 AI 却与蚊子蜜蜂嗡嗡作响的声音进行配对。(图/记者黄肇祥摄,以下皆同)

▲这张高速公路拍摄的照片,则因蓝天似乎被判定为海边?系统给出海浪拍打的声音,不过记者实测相同的取景,另外一张照片确实有出现重机奔驰的声音。

阳明山绣球花,AI 给出鸟叫虫鸣配乐,确实与照片非常适合,彷佛置身于山林之中。

该网页最早于今年 1 月推出,目标是将 Google 街景与音档进行配对,现在则进一步开始判别单一照片,目前系统与音乐资料库都不尽完美,没办法有效判别所有照片,但这却以简单的方式,展现 AI 的应用。读者们可以试试看,不同照片会出现什么样的声音喔!