Title: 《Preserving Fairness Generalization in Deepfake Detection》
From Purdue University
CVPR 2024 paper
Highlight
- 文中提出同时考虑features，loss，和optimization三方面来解决deepfake detection的问题。
- 使用解偶学习来提取人种和domain无关的防伪特征，并在一个平坦的loss平面上通过fuse他们来促进fair learning。（平坦的loss平面是使用了SAM优化器。文中提到的fair learning其实是cross domain的generalization的问题，换了种说法而已。）
Methods
- A代表的是Domain Label，例如real, DeepFake，Face2Face等不同伪造的数据集。
- Y代表的是real / fake
- D代表的是人口统计变量，比如根据性别可以分为{male, female}两个subgroups。
人口统计特征 & 防伪特征
- 输入的是fake + real的一对儿images；
- 包含三个独立的encoders用来提取content特征 c(和图像背景相关？)， 防伪特征 f，人口统计特征 d。
- 防伪特征f里同时包含和domain相关f_a的以及和domain无关的f_g，
Classification Loss
- deepfake数据集有人口统计subgroup分布的不均衡问题，所以使用均衡的ditribution-aware margin loss来分类D。
- 同时，L_cls还包含区分Y和A的两个CE loss。
Contrastive Loss
- 用的是一个triplet loss L_con
- L_con用在f_a和f_g上。
Reconstruction Loss
- L_rec = ||X_i - D(c_i, f_i, d_i)|| + ||X_i - D(c_i, f_i’, d_i)||
- 根据输入图像的latent feature来重建，后者是根据partner的forgery特征来进行重建。
Fair Learning under Generalization
- 获得了domain无关的防伪特征和人口统计特征，将他们使用AdaIN结合起来, 融合后的特征I_i为：
I_i = \delta(d_i) * ((f_g - \mu(f_g)) / \delta(f_g)) + \mu(d_i)
- \mu和\delta为在feature的spatial维度上计算的均值和标准差，即将f_g的style转换为d的。
Fairness Learning
- 作者提出了bi-level fairness loss在不同的subgroups之间提高公平性。
- 文章说的有点复杂不好理解，简单理解就是把domain无关的防伪特征便成对应不同人口统计特征对应的domain下的特征，然后去分类。
Experiments
