然后通过KL散度度量两个混合高斯分布的距离，并通过减少KL散度来达到两个域特征的匹配 。可是，在两个混合高斯分布上直接求解KL散度并没有闭式解，这导致了无法使用有效的梯度优化方法 。在这篇论文中，作者在源域和目标域中分配相同数量的集群，每个目标域集群被分配给一个源域集群，这样就可以将整个混合高斯的KL散度求解变成了各对高斯之间的KL散度之和 。如下式：
上式的闭式解形式为：
在公式2中，源域集群的参数可以线下收集完，而且由于只用到了轻量化统计数据，所以不会导致隐私泄漏问题且只使用了少量的计算和存储开销 。对于目标域的变量，涉及到了伪标签的使用，作者为此设计了一套有效的且轻量的伪标签过滤策略 。
第二部分伪标签过滤的策略主要分为两部分：
1）时序上一致性预测的过滤：
2）根据后验概率的过滤：
最后，使用过滤后的样本来求解目标域集群的统计量：
第三部分由于在锚定聚类中，部分被滤除的样本并没有参与目标域的估计 。作者还对所有测试样本进行全局特征对齐，类似锚定聚类中对集群的做法，这里将所有样本看作一个整体的集群，在源域和目标域分别定义
然后再次以最小化KL散度为目标对齐全局特征分布：
第四部分以上三部分都在介绍一些域对齐的手段，但在TTT过程中，想要估计一个目标域的分布是不简单的，因为我们无法观测整个目标域的数据 。在前沿的工作中，TTT++[2]使用了一个特征队列来存储过去的部分样本，来计算一个局部分布来估计整体分布 。但这样不但带来了内存开销还导致了精度与内存之间的tradeoff 。在这篇论文中，作者提出了迭代更新统计量的方式来缓解内存开销 。具体的迭代更新式子如下：
总的来说，整个算法如下算法1所示：
三、实验结果
正如引言部分所说，这篇论文中作者非常注重不同TTT策略下的不同方法的公平比较 。作者将所有TTT方法根据以下两个关键因素来分类：1）是否单轮适应协议(One-PassAdaptation)和2）修改源域的训练损失方程，分别记为Y/N表示需要或不需要修改源域训练方程，O/M表示单轮适应或多轮适应 。除此之外，作者在6个基准的数据集上进行了充分的对比实验和一些进一步的分析 。
如表一所示，TTT++[2]同时出现在了N-O和Y-O的协议下，是因为TTT++[2]拥有一个额外的自监督分支，我们在N-O协议下将不添加自监督分支的损失，而在Y-O下可以正常使用此分子的损失 。TTAC在Y-O下也是使用了跟TTT++[2]一样的自监督分支 。从表中可以看到，在所有的TTT协议下所有数据集下，TTAC均取得到最优的结果；在CIFAR10-C和CIFAR100-C数据集上，TTAC都取得了3%以上的提升 。从表2-表5分别是ImageNet-C、CIFAR10.1、VisDA上的数据，TTAC均取到了最优的结果 。
此外，作者在多个TTT协议下同时做了严格的消融实验，清晰地看出了每个部件的作用，如表6所示 。首先从L2Dist和KLD的对比中，可以看出使用KL散度来衡量两个分布具有更优的效果；其次，发现如果单单使用AnchoredClustering或单独使用伪标签监督提升只有14%，但如果结合了AnchoredCluster和PseudoLabelFilter就可以看到性能显著提高29.15%->11.33% 。这也可以看出每个部件的必要性和有效的结合 。
最后，作者在正文的尾部从五个维度对TTAC展开了充分的分析，分别是sTTT(N-O)下的累计表现、TTAC特征的TSNE可视化、源域无关的TTT分析、测试样本队列和更新轮次的分析、以wall-clock时间度量计算开销 。还有更多有趣的证明和分析会展示在文章的附录中 。
四、总结
本文只是粗糙地介绍了TTAC这篇工作的贡献点：对已有TTT方法的分类比较、提出的方法、以及各个TTT协议分类下的实验 。论文和附录中会有更加详细的讨论和分析 。我们希望这项工作能够为TTT方法提供一个公平的基准，未来的研究应该在各自的协议内进行比较 。
推荐阅读
- 沈阳市教师招聘公告2022 2022年沈阳市公开招聘教师报名情况公示
- 重庆专科院校2022年录取分数线 重庆专科院校排名
- 2022年流行颜色衣服 2022年流行颜色
- 2022年工作规划怎么写 2022年工作规划
- 东莞家具展会2022年时间表 东莞家具展会2022
- 广州2022年中考科目及各科分数 2022年中考科目及各科分数
- 2022年小学语文新课程标准心得体会 2022年小学语文新课程标准
- 会计初级考试2022年考试时间 会计初级考试2022年报名时间官网
- 2022年广州积分入户什么时候开始申请 2022年广州积分入户什么时候开始
- 2022年经济会不会好点 2022年经济到底能不能好