暗物智能科技申请多模态驱动的视频生成专利，实现视频内容的个性化和丰富性

金融界2024年10月25日消息，国家知识产权局信息显示，暗物智能科技（广州）有限公司申请一项名为“一种多模态驱动的视频生成方法、装置、计算机设备及可读存储介质”的专利，公开号 CN 118803301 A，申请日期为 2024 年 6 月。

专利摘要显示，本发明公开了一种多模态驱动的视频生成方法、装置、计算机设备及可读存储介质，包括：首先获取用户需求文本和多媒体内容，通过编码处理得到对应的特征向量。接着，利用预先训练的多模态融合模型将这些特征向量融合，生成一个融合特征向量。该融合向量被输入到预先训练的视频生成模型中，以产生初始视频内容。同时，此融合特征向量还与初始视频一起被送入音频生成模型，以生成相应的音频。最后，将初始视频与生成的音频进行拼接，形成最终的目标视频。如此设计，通过多模态信息的深度融合，实现了视频内容的个性化和丰富性，满足了用户对高质量视频的需求。

本文源自：金融界

作者：情报员