新知一下
海量新知
5 9 9 1 4 3 3

CAMoE——屠榜 video retrieval challenge

我爱计算机视觉 | 计算机视觉与机器学习技术最前沿 2021/10/26 15:05

本文转自知乎,已获作者授权,请勿二次转载。

编 者 言

来自今年九月arXiv上一篇关于视频检索文章。作者来自国科大和快手,提出CAMoE模型,投稿AAAI。实验结果非常恐怖,在几乎所有主流数据集上达到SoTA,其中video retrieval challenge 刷榜6个数据集 ,而文章所作改变非常小,主体上仅修改了loss,而且代码量仅1行。本文工作我认为非常有意义,因此将详细描述文章各个模块和步骤,最后给出思考。

新知达人, CAMoE——屠榜 video retrieval challenge

video retrieval challenge

01

Overall structure

  • 语义方面:使用POS和SGS分别解析语句和整合语句,应用CLIP预训练的Bert进行语义提取。这里的Bert应该是CLIP中的使用的Bert。

  • 视觉方面:使用CLIP预训练的ViT提取feature。分流成三路,使用三种expert加一个Gate模块。这里的Gate只对fusion expert做限制,因为作者认为由于fusion expert采集了整体的信息,导致加入到网络的信息太丰富,这会导致其余两个entity和action expert的学习任务太simple,所以要对fusion做限制。

  • 最后整体进行similarity的计算,得到 新知达人, CAMoE——屠榜 video retrieval challenge  的相似度矩阵,取矩阵对角线之和为loss值。

新知达人, CAMoE——屠榜 video retrieval challenge

02

Sentence generation strategy

文章测试了三种生成Entity和action embedding的结构。

  • 将词性分割后提取出的单词直接输入Bert,输出CLS embedding

  • 整句输入,将对应词性的单词平均

  • mask掉无关词,句子长度不变。CLS embedding作为输出

新知达人, CAMoE——屠榜 video retrieval challenge

03

Visual Frames Aggregation Scheme

B个视频为一个Batch,每个视频提取C帧,每一帧为d维向量,所以我们编码的数据为 新知达人, CAMoE——屠榜 video retrieval challenge  .作者同样采用三种聚合方式。注意这里聚合的方式是聚合C方向,保留d和B,最后得到 新知达人, CAMoE——屠榜 video retrieval challenge  .

  • 采用mean pooling,但这个mean pooling不是检测里那种,而是直接将x从C的方向上压缩平均 新知达人, CAMoE——屠榜 video retrieval challenge

新知达人, CAMoE——屠榜 video retrieval challenge

  • Squeeze-and-Excitation attention(se attention):简言之,给mean pooling加入一个重要性分数score。

新知达人, CAMoE——屠榜 video retrieval challenge

  • self-attention:这个就不介绍了吧。

04

Loss function

  • original loss function:

新知达人, CAMoE——屠榜 video retrieval challenge

用图像理解,就是对着下面这幅图按列取softmax,再按行取softmax,最后将对角线上的概率求和,得到loss:

新知达人, CAMoE——屠榜 video retrieval challenge

  • Dual -softmax loss function

这个function可以被视作是本文的灵魂。式子如下:

新知达人, CAMoE——屠榜 video retrieval challenge

其中P_r计算式如下:

新知达人, CAMoE——屠榜 video retrieval challenge

看起来非常繁琐,但是仔细一看,其实非常简单,代码一行就能解决。以下图中的数据为例,我用尽量简洁的语言描述:

  • 首先,我们假设对角线上的概率表征与GT的匹配程度。就是说对角线是一个视频文本pair。

  • 当我们需要求解video→text的匹配程度,按照原来的loss求解,是对相似度矩阵每一行做softmax,如图,得到的概率最大值都为第一列。即每一个视频都选择了第一个文本作为最优的描述sentence。

  • 但是作者在求解video→text的匹配程度时,是先求解text→video的匹配程度(概率矩阵),即按列做softmax。这个时候我们可以看到图中第一个文本选择第一个视频作为最优,第二个选择了第二个视频,第三个还是选择了第一个视频。接着将这个概率矩阵与原矩阵相乘,得到revise后的相似度矩阵,最后求解video→text,也就是按行做softmax得到最后的概率矩阵。

  • 结果是,经过逆向任务revise后,正向任务的精确程度提升了。对角线上是最高概率。

新知达人, CAMoE——屠榜 video retrieval challenge

而实现的代码更简单,作者git仓库中 github.com/starmemda/CA 只有一个文件,代码如下:

from torch import nn

import torch.nn.functional as F

import torch

class dual_softmax_loss(nn.Module):

def __init__(self,):

super(dual_softmax_loss, self).__init__()

def forward(self, sim_matrix, temp=1000):

sim_matrix = sim_matrix * F.softmax(sim_matrix/temp, dim=0)*len(sim_matrix) #With an appropriate temperature parameter, the model achieves higher performance

logpt = F.log_softmax(sim_matrix, dim=-1)

logpt = torch.diag(logpt)

loss = -logpt

return loss

05

Experiment

文章中在三个数据集上做了实验,全部SoTA。下图是在LSMDC(最多数据量)和MSVD(最难数据集)上的表现:

新知达人, CAMoE——屠榜 video retrieval challenge

新知达人, CAMoE——屠榜 video retrieval challenge

其实看到这样的结果,对于它达到SoTA我并不意外,因为结合了CLIP的模型,借助于大规模数据集,再对自己的模型进行一些调优达到SoTA并不难,但是加入了Dual-softmax loss后,模型提高了2~3个点的确令人吃惊,也倍感欣喜。因为从直觉上来看,DSL确实使得T2V和V2T两个任务的交互更加紧密,也更容易抑制过拟合。

Ablation study

新知达人, CAMoE——屠榜 video retrieval challenge

消融实验

消融实验中,V2T的表现优于T2V。作者解释:文本标注可能会有歧义。例如:狗在玩耍——视频1,猫和狗在一起玩耍——视频2.那么用视频去选择句子时,模型就会直接偷懒,因为“狗在玩耍”一定是比“猫和狗在一起玩耍”的内容范围要更大的,那么既然选第一句一定不会错,那么为啥还要费力去选择第二句呢?而视频出现歧义的可能性几乎没有,所以这也是为什么V2T的表现优于T2V的原因。对于作者这个观点我也很赞同。

Visualization

相似度最高的点明显更加聚集到了对角线附近。

新知达人, CAMoE——屠榜 video retrieval challenge

可视化结果

06

Reflection

这篇文章给我很大的震撼,不仅在于其极强的performance,更在于他所作的工作非常优美。总结一下,表现在下面两点:

  • 观点和动机:

作者的观察和解释我认为很有趣,也很有意义。文章最大的亮点在于如何将正向检索和逆向检索综合,使得两者进行互补,从而引入了DSL。而文中对一些现象的解释我觉得也很有道理,非常符合直觉。

  • 实现方式:

通过修改loss,直接就优化了模型,而且代码量极少,非常容易迁移到其余存在正逆向的任务上。但这一点,也是我认为本文的一点不足。对于DSL提出的理论依据不够强,只凭借直觉多少有点玄虚。

其次,是我自己对这个模型的一些思考。

我认为这个模型最大的亮点,最本质的解释就是加入了先验。比如在T2V任务中,我们引入了V2T,其本质就是我们认为V2T任务是一个值得我们信赖的任务,我们认为其携带的信息能够指导T2V任务,这也是本文最大的假设,最后也证明这个先验确实不错。从这个角度出发,我们对模型的改进其实不仅仅是对输入进行先验的补充,其实可以把思路扩展到如何对网络内部已经产生的结果,将其假设为先验,加入到模型的优化中,这一点与Resnet又有一点相似了。

总结来说,文章做的很漂亮,结果和解释也对的上,期待AAAI2022能见到本文。

更多“CAMoE”相关内容

更多“CAMoE”相关内容

新知精选

更多新知精选