R-MFDN 是什么？借助身份信息识破多模态伪造视频

R-MFDN（Reference-assisted Multimodal Forgery Detection Network）是一种多模态的深度伪造检测方法，由复旦大学、中电金信和上海智能视觉计算协同创新中心的团队在 2024 年提出。它利用丰富的身份信息来挖掘不同模态之间的不一致，从而发现伪造。

背景：越来越难识破的伪造视频

深度伪造技术可以替换视频中人物的面部、合成逼真的声音，甚至让人“说出”从没说过的话。伪造的视频可能被用于诈骗、造谣和冒充他人，危害很大。早期的检测方法主要只看画面，寻找面部的不自然之处；但随着生成技术进步，单看画面越来越难以判断真假，而且伪造者可能只篡改了声音，或者同时篡改了画面和声音。

R-MFDN 的思路：找不一致

一段真实的视频中，画面、声音和内容之间是相互一致的：说话人的嘴型和声音对得上，声音的音色符合这个人的身份，说的内容也和情境吻合。而伪造的视频往往在某个环节露出破绽：画面里是 A 的脸，声音却带着 B 的音色特征；嘴型和发音不完全同步。R-MFDN 的核心就是利用这些跨模态的不一致来检测伪造。“参考辅助”是指它利用了人物的身份信息作为参考：如果知道视频声称的这个人是谁，就可以把视频中的面部特征、声音特征与这个人的真实身份特征进行对比，判断是否吻合。

网络结构

R-MFDN 由三个主要部分组成。多模态特征提取模块：分别对视频画面、音频以及相关的文字进行编码，提取各自的特征。特征信息融合模块：把不同模态的特征和身份参考信息结合起来，让模型能够对比和发现它们之间的矛盾之处。伪造鉴别模块：根据融合后的信息，判断视频是否被伪造，以及哪种模态被篡改了。研究团队还构建了一个包含多种伪造方式的大规模多模态伪造数据集，用于训练和评测。

意义

论文报告，R-MFDN 在检测多模态伪造方面表现出色，并对未见过的伪造方法有较好的泛化能力。这类技术对金融机构的远程身份核验、新闻内容审核和打击 AI 诈骗都有实际的应用价值。