Tracking Pipelines#

(b)中使用堆叠的Transformer层来关系建模，虽然表现提升但速度变慢，例如：

TransT [5] proposes to stack a series of self-attention and cross-attention layers for iterative feature fusion.

STARK [50] concatenates the pre-extracted template and search region features and feeds them into multiple self-attention layers.

我们的方法(c)提供了模板和搜索区域之间的自由信息流，计算成本较小。通过相互指导生成目标导向型的特征

Adaptive Inference#

我们将每个 token 作为候选对象，然后通过自注意操作计算的相似度分数来丢弃与目标最不相似的候选对象。

3.1 Joint Feature Extraction and Relation Modeling#

vanilla ViT [12]被选作OStrack的主体，这提供了很多公开的预训练模型，省去费时的预训练过程

OSTrack的输入：一对图像，即模板图像（template image patch，$z \in \mathbb{R}^{3\times H_z \times W_z}$）和搜索区域图像（search region patch，$x \in \mathbb{R}^{3\times H_x \times W_x}$）

• 先分割和展平成一系列patches，即$z_p \in \mathbb{R}^{N_z \times (3\cdot P^2)}$和$x_p \in \mathbb{R}^{N_x \times (3\cdot P^2)}$。 其中，$P\times P$ 是每个小patch的分辨率，$N_z=H_zW_z/P^2$，$N_x=H_xW_x/P^2$ 是划分小patch的数量

• 然后一个可训练的线性映射层（linear projection layer），带有参数$E$，将映射到$D$​维空间，如下方公式1和2

  • 该映射层的输出被叫做 patch embeddings

  将可学习的1D（可能是$1\times D$）位置编码（position embeddings $P_z,P_x$）加到相应的 patch embeddings 上得到最终的 template token embeddings $H_z^0 \in \mathbb{R}^{N_z \times D}$ 和 search region token embeddings $H_x^0 \in \mathbb{R}^{N_x \times D}$。入下方公式所示：

  $$H_z^0=[z_p^1E;z_p^2E;...;z_p^{N_z}E]+P_z,\quad E \in \mathbb{R}^{(3 \cdot P^2)\times D},P_z \in \mathbb{R}^{N_z \times D} \qquad (1) \\ H_x^0=[x_p^1E;x_p^2E;...;x_p^{N_x}E]+P_x,\quad P_z \in \mathbb{R}^{N_x \times D} \qquad (2)$$

• 然后token序列被拼接成 $H_{zx}^0=[H_z^0;H_x^0]$，再将其送入 several Transformer encoder layers，不同于vanilla ViT，我们在其中一些encoder层（代码中是第3、6、9层）加入了早期候选消除模块。

  • 值得注意的是，采用拼接特征的自注意，使整个框架与交叉注意相比具有高度的并行化
  • 此外，尽管template图片在每一帧都送入（fed into）ViT，其对inference速度的影响很小，因为高度并行化的结构以及template tokens的数量相比于search region tokens要少得多。

3.2 Early Candidate Elimination#

前面的框架再特征提和关系建模过程中保留所有candidates，直到最后输出才检测出背景。

我们的单流框架为目标和每个候选对象之间的相似度提供了一个强大的先验。这一性质促使我们提出在ViT早期的候选消除模块

3.3 Head and Loss#

Head部分包括三个分支，分别预测分类得分（target classification score map, $P \in [0,1]^{\frac{H_x}{P}\times \frac{W_x}{P}}$）、为了补偿下采样量化误差而预测的偏移值（local offset, $O\in [0,1)^{2\times \frac{H_x}{P}\times \frac{W_x}{P}}$）以及归一化的bbox尺寸（即宽高 $S\in [0,1]^{2\times \frac{H_x}{P}\times \frac{W_x}{P}}$，取预测得分最高的点（得分$P$ 使用了Hanning窗惩罚）作为目标位置：（上面分母中的 $P$ 是每个patch的分辨率，$\frac{H_x}{P}\times \frac{W_x}{P}$ 就是patch的个数，即$P,O,S$是矩阵）

损失函数方面：对于分类分支，采用了与CornerNet中相同的weighted focal loss，与GT中心距离越远的位置权重越低；对于回归分支，则使用了常用的IoU loss以及L1 loss的组合。

下面来自博客：

将特征提取和特征融合统一在一个模块中，并将它们输入到标记的自注意层，生成的搜索区域特征可以直接用于目标分类和回归，而无需进一步匹配。[2]

如上图所示，OSTrack模型流程可简单分为以下几步：[2]

1. Search_pic和Template_pic进行patch embeding让图片变成一个一个块
2. flatten得到template_token(也可称为template_feature) search_token(search_feature) 并加上位置编码，再将两个token 拼接起来，送入后面的N个encoder层（N一般取12） 。
3. 每第3、6、9（可手动更改，这里给出的是基线模型的设置）个encoder,执行候选消除模块 。
4. 对search_token中消除的块进行padding 得到最终的search_token (由于template_token不会消除模块，所以template_token不变)。 将两个token 再拼接，得到最终的X。
5. 对X后处理。

流程见下图：[3]