暗物质申请一种基于 BPE 的视频模态特征处理方法及系统专利，能确保视频关键信息得到有效保留

金融界 2024 年 12 月 13 日消息，国家知识产权局信息显示，暗物质（北京）智能科技有限公司申请一项名为“一种基于 BPE 的视频模态特征处理方法及系统”的专利，公开号 CN 119110129 A，申请日期为 2024 年 8 月。

专利摘要显示，本发明公开了一种基于 BPE 的视频模态特征处理方法及系统，方法包括将视频帧通过 BPE 算法进行合并，达到设定数量的视频帧后进行视频编码得到视频特征向量表示，或者将视频帧通过视频编码后再通过 BPE 算法进行合并得到视频帧特征向量；将文本进行编码得到文本特征向量表示；将文本特征向量表示和视频特征向量表示进行线性变换，或者将文本特征向量表示和视频帧特征向量进行线性变换，得到多模态特征向量表示；通过大语言模型处理多模态特征向量表示，生成多维度的视频内容表示。本发明通过 BPE 算法能够适应不同长度的视频内容，确保无论视频的长短，其关键信息都能得到有效保留，为 video LLMs 提供了数据基础，使其能够全面理解视频内容。

本文源自：金融界

作者：情报员