一文速览ICML 2023域自适应/域泛化相关论文
Domain adaptation（DA: 域自适应），Domain generalization（DG: 域泛化）一直以来都是各大顶会的热门研究方向。DA假设我们有有一个带标签的训练集（源域），这时候我们想让模型在另一个数据集上同样表现很好（目标域），利用目标域的无标签数据，提升模型在域间的适应能力是DA所强调的。以此为基础，DG进一步弱化了假设，我们只有多个源域的数据，根本不知道目标域是什么，这个时候如何提升模型泛化性呢？传统DG方法就是在源域finetune预训练模型，然后部署时不经过任何调整，核心在于如何利用多个源域带来的丰富信息。本文大致总结了发表于ICML中与分布变化，DA，DG，OOD detection以及与域偏移相关的一系列文章。现有的多源自适应方法通常使用源模型生成的伪标签数据训练目标模型，这些方法主要关注改进伪标签技术或提出新的训练目标。而该研究旨在分析多源自适应的基本限制，并提供平衡这种权衡的洞察力。文章从三个角度（域聚合、选择性伪标签和联合特征对齐）讨论了如何平衡偏差和方差的问题，并提出了新的算法。通过在多个数据集上的实验证实了理论分析，并展示了所提出算法在一些具有挑战性的数据集上的卓越性能。文章的核心方法是通过理论分析提出了多源自适应问题的信息论上界，揭示了固有的偏差-方差权衡。作者提出了从三个角度平衡偏差和方差的洞察力，并设计了新的算法。其中，域聚合可以减少标签不匹配的偏差，选择性伪标签可以进一步平衡标签不匹配的偏差和方差，而联合特征对齐策略可以显式地解决源域和目标域之间的域漂移问题，从而减少特征不匹配的偏差。这篇文章介绍了一个称为&#34;连续反事实风险最小化（SCRM）&#34;的框架，用于改善离线数据分析中&#34;反事实风险最小化（CRM）&#34;的性能。CRM的目标是使用记录的bandit feedback 数据来增强日志策略。SCRM将CRM扩展到顺序设置中，可以多次部署学习策略以收集新数据。文章的主要目标是在SCRM框架中开发一种学习策略，以最小化超额风险和预期遗憾( excess risk and expected regret)。作者提出了一种新颖的反事实估计器，并通过类似于加速优化方法中的重启策略的分析确定了可以改善CRM性能的条件。他们还通过在离散和连续行动设置中进行实证评估探讨了CRM多次部署的益处。背景：典型的机器学习应用通常假设数据遵循独立同分布（IID）的假设。然而，在现实世界中，这种假设经常被违反，导致了分布外（OOD）泛化问题和模型鲁棒性的严重下降。为了缓解这个问题，利用不变性学习技术来区分所有输入特征中的虚假特征和不变特征，并仅基于不变特征对模型进行训练。许多不变性学习策略要求训练数据应包含领域信息，如环境索引或先前知识获取的辅助信息。然而，在实践中通常无法获取这些信息。本研究提出了一种无环境特定信息训练的环境无关不变性学习方法TIVA。在因果图中，给定适当的条件，本文发现并证明可以基于与目标无关的属性来训练一个环境划分策略，然后进行不变风险最小化。该论文提出了一种名为TIVA的方法，用于在不知道领域信息的情况下进行不变性学习。通过在因果图中发现与目标无关的属性，可以训练一个环境划分策略，并进行不变风险最小化。该方法在多个基准测试中展示了优越的性能和出色的OOD鲁棒性。深度学习模型在关键应用领域（如医疗保健、自动驾驶或国防）中的部署需求，其中重要的安全要求之一是能够区分正常分布和异常分布的样本。当前大多数方法采用后处理的策略，利用预训练模型的特征空间来估计正常样本的密度以进行异常检测。现有的密度估计方法包括高斯混合模型（GMM）、最近邻分布和基于能量的方法（如能量对数EL）等。然而，这些方法往往针对不同类型的异常数据表现出不同的检测能力，具体而言EL一般对near-OOD data效果更好，而GMM相反。作者引入了一种名为HEAT的方法，该方法使用基于能量的混合模型在预训练骨干网络的特征空间中估计内部分布样本的密度。HEAT通过对先前的内部分布密度估计器（如高斯混合模型）进行能量修正，提供准确而稳健的密度估计。文章的主要贡献为文章的出发点是针对传统域自适应方法在处理具有层次结构的领域时存在的局限性，提出了一种适用于具有层次结构领域的方法。传统的域自适应方法主要针对分类领域，忽略了现实世界中复杂的领域关系。该方法的主要贡献是引入了一个新颖的taxonomist，该taxonomist与对抗鉴别器竞争，以保留领域的层次结构信息。该方法通过平衡领域相似性和领域不变性，实现了对层次结构领域的自适应。具体方法描述如下：通过这个四方博弈的框架，文章提出的方法可以平衡表示学习中的领域相似性和领域不变性。当领域层次结构非常简单或不提供任何信息时，方法可以恢复传统的域自适应方法的解决方案。在其他领域层次结构情况下，该方法在合成数据集和真实世界数据集上实现了最先进的性能。该文章的出发点是为解释Out-of-Distribution (OOD)检测器的决策，提供了基于concept的解释，这里的concept如下图所示，就是一些类似于皮肤颜色，背景状态等高级信息而不是feature的特征。虽然许多方法都致力于改善OOD检测器的性能，但在解释其决策方面存在重要差距。为了弥补这一差距，作者提出了两个新的度量标准：检测完整性和概念可分离性，用于评估用于解释OOD检测器决策的概念集的有效性。基于这些度量标准，作者提出了一种无监督的框架，用于学习满足高检测完整性和概念可分离性要求的概念集，并展示了该框架在为各种现成的OOD检测器提供基于概念的解释方面的有效性。文章还展示了如何识别对检测结果有重要贡献的突出概念，并进一步解释了它们的决策。文章的主要贡献包括： 该文章的出发点是对比表示学习（Contrastive Representation Learning，CRL）的泛化性能进行分析。CRL是一种无监督学习方法，通过将相似样本聚集在一起并将不相似样本分开，学习一个表示函数，以捕捉数据的潜在结构，并在下游任务中获得良好的泛化性能。文章的主要贡献是建立了对比表示学习的新型泛化界，该界不依赖于负样本的数量（k值）。作者利用经验覆盖数和Rademacher复杂度的结构结果，利用损失函数的Lipschitz连续性进行分析。对于self-bounding的Lipschitz损失函数，作者通过开发optimistic bound进一步改进了结果，在低噪声条件下可以得到快速的收敛速率。作者将这些结果应用于线性表示和非线性表示（通过深度神经网络），为两种情况都推导出了Rademacher复杂度界限，从而改进了泛化界限。文章的方法描述主要包括三个部分：1）对三种类型的损失函数（ℓ2-Lipschitz损失、ℓ∞-Lipschitz损失和self-bounding的Lipschitz损失）进行泛化误差界限的开发；2）将这些泛化界限应用于学习线性特征和非线性特征的无监督表示学习问题；3）将结果应用于下游分类问题的泛化分析。 该文章的出发点是解决深度神经网络在预测过程中依赖于spurious correlation而导致泛化能力受限的问题。作者指出，例如将猫与床背景关联的模型在其他没有床的环境中无法正确预测猫的存在。为了解决这个问题，作者提出了一种可解释的框架，名为Discover and Cure（DISC），用于发现和减轻错误关联。DISC框架通过使用可解释的概念，迭代地进行以下两个步骤：1）发现在不同环境中不稳定的概念作为错误属性；2）使用发现的概念对训练数据进行干预，以减少错误关联。通过系统实验证明，DISC框架相比现有方法在泛化能力和可解释性方面表现更好。在对象识别任务和皮肤病变分类任务上，DISC方法的性能分别比现有方法提高了7.5％和9.6％。此外，作者还提供了理论分析和保证，以了解通过DISC训练的模型的优势。文章的方法包括以下几个步骤：文章的出发点是针对领域泛化（Domain Generalization）问题，即解决训练领域和未知目标领域之间的分布偏移。为了在未知目标领域上实现良好的泛化能力，先前的工作引入了一种领域生成策略，通过生成新的领域来增强深度神经网络的性能。这种方法的基本思想是通过学习多个生成的领域，使得深度神经网络对领域变化具有鲁棒性。然而，如何构造新的领域以实现在目标领域上的可证明的泛化性能仍然具有挑战性。直接使用分布鲁棒优化方法（Distributionally Robust Optimization，DRO）来解决分布偏移问题在实践中表现有限。为了充分发挥DRO在领域泛化中的潜力，文章提出了一种新的方法称为Moderately Distributional Exploration（MODE），旨在通过在一个与训练领域具有相同语义因素的不确定子集中进行分布探索，解决领域泛化中的低置信度问题。文章通过理论框架给出了该方法在未知目标领域上的泛化估计和风险估计。实验结果表明，MODE相比最先进的基线方法具有竞争性的性能。该文章的出发点是针对图像分类中的out-of-distribution (OOD)检测问题进行研究。文章指出目前对于以ImageNet-1K为ID的OOD检测性能的评估通常是在一小组测试OOD数据集上进行的。然而，作者发现目前使用的大多数测试OOD数据集都存在严重问题，其中包括来自开放集识别(OSR)文献的数据集。这些数据集中的一些样本超过50%属于ID类别的对象，这严重扭曲了OOD检测器的评估结果。如下图所示，如果将这些有overlap的类别去掉的话，OOD detector的表现会进一步下降。为了解决这个问题，作者介绍了一个名为NINCO的新的测试OOD数据集，其中每个样本都经过检查以确保不包含ID对象，并且具有细粒度的OOD类别范围，可以详细分析OOD检测器的强项和失效模式，特别是与一些合成的OOD单元测试相结合。文章通过对NINCO数据集和单元测试上的大量架构和OOD检测方法进行详细评估，揭示了关于模型弱点和预训练对OOD检测性能的影响的新见解。 该文章的出发点是研究在机器学习中添加不同分布的数据（out-of-distribution data，OOD数据）对泛化误差的影响。研究者注意到，当OOD数据与目标数据相似时，很多实证证据表明OOD数据可以改善泛化误差，但当OOD数据与目标数据差异较大时，更多数据可能会损害泛化误差。因此，研究者探索了添加不同数量的OOD数据对泛化误差的影响，并发现了一个反直觉的现象：对于某些任务，泛化误差在添加少量OOD数据时会减小，但随着OOD数据数量的增加，泛化误差反而变大。换句话说，少量OOD数据的训练是有价值的。该研究通过在合成数据集上使用Fisher&#39;s Linear Discriminant和在计算机视觉基准数据集（如MNIST、CIFAR-10、CINIC-10、PACS和DomainNet）上使用深度网络进行实证验证。文章的主要贡献是揭示了泛化误差在OOD数据数量上的非单调关系，并提出了在理想情况下利用OOD数据的权重目标来优化泛化误差的方法。然而，由于在实际情况下很难确定哪些样本是OOD，文章还指出了当前常用的一些策略（如数据增强、超参数优化和预训练）无法确保目标泛化误差不会随OOD样本数量的增加而恶化。如题目所示，这篇文章的出发点是解决领域泛化（Domain Generalization，DG）问题，即训练数据来自源领域，而目标领域的数据在训练过程中是不可用的。作者提出了一种称为&#34;分布无关领域泛化&#34;（Distribution Free Domain Generalization，DFDG）的方法来处理这个问题。主要贡献：本文的背景依然是domain generalization，但是聚焦于如何使用pretrain models，之前的工作显示，通过选择目前最优的预训练模型（PTM）给特定的DG任务，不需要任何DG算法就能达到非常好的泛化性能。但是到目前为止，还没有工作去研究各种PTM有什么样的inductive bias，以及这些bias如何影响他们的泛化能力。大家在做的事情一般都是选几个效果最好的，而不是最正交或者可以互相补全的，因此在很多场景下，多个模型ensembling的效果还不如单个模型。本文首先将各种PTM在分布外数据上的泛化性刻画为两类他们的产生特征的方差，一类称作为feature diversity shift，即特征分布，另一类则是feature correlation shift，即条件分布，作者设计了相应的方法评估了各个PTM在这两个方面的一些特性，主要结论有因为不同的PTM在两种类型的shift上偏好是不一样的，我们最优的ensembling选择显然不是无脑的选择performance最好的，而是根据model bias来选择文章的出发点是研究源自由领域自适应（Source-free domain adaptation，SFDA）。SFDA是一种非常有吸引力的方法，因为它允许使用无标签数据将现成的模型适应到新的领域。文章的主要贡献是在生物声学领域应用现有的SFDA技术，并发现现有方法在这个领域的性能与视觉领域的基准表现不同，并且有时甚至比没有适应算法的情况下表现更差。为了解决这个问题，作者提出了一个新的简单方法，在新的领域中超过了现有的方法。作者的研究结果表明，现有的SFDA方法并不像之前认为的那样具有通用性，而考虑到不同的模态可以是设计更鲁棒模型的有用途径。这篇文章的出发点是研究神经网络的初始化对其泛化能力的影响。文章认为之前的研究主要集中在优化算法对泛化的影响，忽视了初始化的重要性。作者通过理论分析和实验证明，如果初始化不好，即使使用梯度下降算法和深层网络，神经网络的泛化性能也会变差。文章的主要贡献是：作者将特征分成了四组，分组的根据分别为（1）是否特征与预测结果相关以及（2）是否特征是域可变的。当数据集不是无限大的时候，总是存在的，因此模型才会学到一个标签和特征之间的虚假相关性。 传统的data augmentation实际上对只对noise特征进行了调整 Domain-invariant augmentations尝试着去随机化所有和域相关的特征，但是这里的话就会影响与域相关的特征中对label也有因果影响的部分在这种decomposition下，很直观的我们最优的策略应该是只去扰乱Targeted augmentations for real-world datasets：以下是几个数据集上的targeted augmentation的示例，可以看到，我们首先需要人工对数据集的各类特征进行分解找到什么是，然后使用相应技巧来进行数据增强。文章在linear regression的设置下理论的说明了本文这种target augmentation方法相比于传统数据增强方法的优势，在多个实际数据集上都取得了很好的效果，提升从3.2%到15.2%不等。该文章的出发点是解释分布转移（distribution shift）现象。分布转移指的是在不同的数据分布之间存在差异，它可能会导致操作环境的变化或明显降低下游模型的准确性。理解分布转移对于检查和减轻这种转变的影响至关重要。过去的研究主要关注于检测是否发生了分布转变，并假设任何检测到的转变可以由人工操作员适当地理解和处理。该研究旨在通过使用可解释的运输（ transportation）映射来解释分布转变，从而帮助人工操作员进行手动的缓解任务。作者从最优运输的松弛形式中导出可解释的映射，并将候选映射限制在一组可解释的映射中。他们在真实世界的表格数据、文本数据和图像数据集中的多个典型分布转变用例验证了提出的方法，展示了他们的解释映射在详细性和可解释性方面比基线解释更好，并通过视觉检查和“PercentExplained”指标进行了验证。除此之外，他们的方法不仅能够显示特征如何改变，还能显示分布中的群体如何发生转变。通过使用他们的解释映射，操作员可以更有效地理解环境发生的变化，并采取相应的措施。该文章主要介绍了一个名为RLSbench的大规模基准测试集，用于评估领域适应问题中的标签偏移问题。文章指出现有的领域适应方法对于类条件分布的变化非常敏感，但对于标签分布的变化却缺乏深入的探索。同时，目前流行的领域适应启发式方法在面对标签比例的变化时往往表现不稳定。为了解决这个问题，文章介绍了RLSbench，它是一个大规模的基准测试集，包含约500个跨视觉、表格和语言模态的分布转移对，并且标签比例各不相同。与现有的基准测试集主要关注类条件分布转移不同，RLSbench还专注于标签边际分布的转移。文章首先评估了13种常见的领域适应方法，在标签比例转移的情况下，展示了比以前已知的更广泛的失败情况。接下来，文章提出了一个有效的两步元算法，与大多数领域适应启发式方法兼容：(i)在每个时期伪平衡数据；(ii)使用目标标签分布估计调整最终分类器。这个元算法提高了现有的领域适应启发式方法在大的标签比例转移下的性能，通常提高了2-10%的准确率，而在标签比例没有变化时几乎没有影响（不到0.5%）。文章的特殊发现是，现有的针对放松标签偏移的方法往往无法改善源分类器的性能，并且与使用元算法的现有领域适应方法相比表现明显不佳。最后，欢迎大家关注github，聚合了OOD，causality,robustness，optimization以及一些前沿研究方向的一些阅读笔记，非常欢迎大家补充完善