机器之心专栏
作者：苏永怡
2022年信息技术考试题库（2022年信息技术考试题库操作题）
华南理工、A*STAR团队和鹏城实验室联合提出了针对测试阶段训练（TTT）问题的系统性分类准则 。
域适应是解决迁移学习的重要方法，当前域适应当法依赖原域和目标域数据进行同步训练 。当源域数据不可得，同时目标域数据不完全可见时，测试阶段训练（Test-TimeTraining）成为新的域适应方法 。当前针对Test-TimeTraining（TTT）的研究广泛利用了自监督学习、对比学习、自训练等方法，然而，如何定义真实环境下的TTT却被经常忽略，以至于不同方法间缺乏可比性 。
近日，华南理工、A*STAR团队和鹏城实验室联合提出了针对TTT问题的系统性分类准则，通过区分方法是否具备顺序推理能力（SequentialInference）和是否需要修改源域训练目标，对当前方法做了详细分类 。同时，提出了基于目标域数据定锚聚类（AnchoredClustering）的方法，在多种TTT分类下取得了最高的分类准确率，本文对TTT的后续研究指明了正确的方向，避免了实验设置混淆带来的结果不可比问题 。研究论文已被NeurIPS2022接收 。
一、引言
深度学习的成功主要归功于大量的标注数据和训练集与测试集独立同分布的假设 。在一般情况下，需要在合成数据上训练，然后在真实数据上测试时，以上假设就没办法满足，这也被称为域偏移 。为了缓解这个问题，域适应(DomainAdaptation,DA)诞生了 。现有的DA工作要么需要在训练期间访问源域和目标域的数据，要么同时在多个域进行训练 。前者需要模型在做适应(Adaptation)训练期间总是能访问到源域数据，而后者需要更加昂贵的计算量 。为了降低对源域数据的依赖，由于隐私问题或者存储开销不能访问源域数据，无需源域数据的域适应(Source-FreeDomainAdaptation,SFDA)解决无法访问源域数据的域适应问题 。作者发现SFDA需要在整个目标数据集上训练多个轮次才能达到收敛，在面对流式数据需要及时做出推断预测的时候SFDA无法解决此类问题 。这种面对流式数据需要及时适应并做出推断预测的更现实的设定，被称为测试时训练(Test-TimeTraining,TTT)或测试时适应(Test-TimeAdaptation,TTA) 。
作者注意到在社区里对TTT的定义存在混乱从而导致比较的不公平 。论文以两个关键的因素对现有的TTT方法进行分类：
这篇论文的目标是解决最现实和最具挑战性的TTT协议，即单轮适应并无需修改训练损失方程 。这个设定类似于TENT[1]提出的TTA，但不限于使用来自源域的轻量级信息，如特征的统计量 。鉴于TTT在测试时高效适应的目标，该假设在计算上是高效的，并大大提高了TTT的性能 。作者将这个新的TTT协议命名为顺序测试时训练(sequentialTestTimeTraining,sTTT) 。
除了以上对不同TTT方法的分类外，论文还提出了两个技术让sTTT更加有效和准确：
二、方法介绍
论文分了四部分来阐述所提出的方法，分别是1）介绍测试时训练(TTT)的锚定聚类模块，如图1中的AnchoredClustering部分；2）介绍用于过滤伪标签的一些策略，如图1中的PseudoLabelFilter部分；3）不同于TTT++[2]中的使用L2距离来衡量两个分布的距离，作者使用了KL散度来度量两个全局特征分布间的距离；4）介绍在测试时训练(TTT)过程的特征统计量的有效更新迭代方法 。最后第五小节给出了整个算法的过程代码 。
第一部分在锚定聚类里，作者首先使用混合高斯对目标域的特征进行建模，其中每个高斯分量代表一个被发现的聚类 。然后，作者使用源域中每个类别的分布作为目标域分布的锚点来进行匹配 。通过这种方式，测试数据特征可以同时形成集群，并且集群与源域类别相关联，从而达到了对目标域的推广 。概述来说就是，将源域和目标域的特征分别根据类别信息建模成：
推荐阅读
- 沈阳市教师招聘公告2022 2022年沈阳市公开招聘教师报名情况公示
- 重庆专科院校2022年录取分数线 重庆专科院校排名
- 2022年流行颜色衣服 2022年流行颜色
- 2022年工作规划怎么写 2022年工作规划
- 东莞家具展会2022年时间表 东莞家具展会2022
- 广州2022年中考科目及各科分数 2022年中考科目及各科分数
- 2022年小学语文新课程标准心得体会 2022年小学语文新课程标准
- 会计初级考试2022年考试时间 会计初级考试2022年报名时间官网
- 2022年广州积分入户什么时候开始申请 2022年广州积分入户什么时候开始
- 2022年经济会不会好点 2022年经济到底能不能好