Github|类别不平衡学习资源(上）

论文

• Learning from imbalanced data，2009 年的论文，有 4700+的引用，非常经典的论文。主要是系统性的回顾了流行的解决方法、评估标准以及未来研究中需要面临的挑战和问题（2009 年的时候）；

🉑 经典的工作

• Learning from imbalanced data: open challenges and future directions(2016, 400+ 引用，这篇论文主要关注不平衡学习的开放性问题和挑战，比如极端类别不平衡，处理在线/流学习的不平衡问题，多类别不平衡学习以及半监督或无监督的不平衡学习。
• Learning from class-imbalanced data: Review of methods and applications(2017（400+ 引用)，一篇非常详细的不平衡学习方法和应用的综述论文，总共包含了 527 篇相关论文。它提供了几种现有方法详细的分类标准，同时也是最近研究领域的趋势。

🉑 一篇系统的并且对现有方法详细分类标准的综述

深度学习

• 综述

• A systematic study of the class imbalance problem in convolutional neural networks (2018, 330+ 引用)
• Survey on deep learning with class imbalance (2019, 50+ 引用)

🉑 最近深度学习方向关于类别不平衡问题的综合性论文

• 困难样本挖掘

• Training region-based object detectors with online hard example mining (CVPR 2016, 840+ 引用)，在神经网络训练的最后阶段，仅对”困难样本“进行梯度的反向传播（比如，loss 数值很大的样本）

• 损失函数工程

• Training deep neural networks on imbalanced data sets (IJCNN 2016, 110+ 引用) ，均方根误差可以从大多数类和少数类中同等的捕获分类错误
• Focal loss for dense object detection [Code (Unofficial)]（ICCV 2017, 2600+ 引用) ，一个集中训练困难样本稀疏集合的均匀损失函数，可以防止大量容易在训练中压倒检测器的简单负样本。

🉑 优雅的解法，影响力很高

• Deep imbalanced attribute classification using visual attention aggregation [Code] (ECCV 2018, 30+ 引用)
• Imbalanced deep learning by minority class incremental rectification (TPAMI 2018, 60+ 引用) ，介绍了一个类别修正损失，它是在迭代的分批学习过程中，通过发现少数类的稀疏采样边界来最小化多数类的优势效应；
• Learning Imbalanced Datasets with Label-Distribution-Aware Margin Loss [Code] (NIPS 2019, 10+ 引用) ，一种理论上有原则的标签分布感知边际损失(LDAM)，其动机是最小化基于边际的泛化边界。
• Gradient harmonized single-stage detector [Code] (AAAI 2019, 40+ 引用) ，相比 Focal loss 只会降低”容易“的负样本的权重，GHM 还可以降低一些可能是异常值的”困难“样本的权重。
🉑 有趣的想法：根据梯度分布来协调样本的贡献
• Class-Balanced Loss Based on Effective Number of Samples (CVPR 2019, 70+ 引用) ，一种简单而通用的基于有效样本数量的类权重调整机制。

• 元学习

• Learning to model the tail (NIPS 2017, 70+ citations) ，将元知识从分布头部的数据丰富的类转移到尾部的数据贫乏的类；

• Learning to reweight examples for robust deep learning [Code]  (ICML 2018, 150+ citations) ，在深度神经网络的梯度更新中隐式学习一个权重函数对样本进行权重的调整。

  🉑 通过元学习解决类别不平衡问题的代表性工作.

• Meta-weight-net: Learning an explicit mapping for sample weighting [Code] (NIPS 2019) ，在深度神经网络的梯度更新中，显式学习一个权重函数（使用多层感知器作为函数逼近器）来对样本的权重进行调整；

• Learning Data Manipulation for Augmentation and Weighting [Code] (NIPS 2019)

• Learning to Balance: Bayesian Meta-Learning for Imbalanced and Out-of-distribution Tasks [Code] (ICLR 2020)

• 表示学习

• Learning deep representation for imbalanced classification (CVPR 2016, 220+ 引用)
• Supervised Class Distribution Learning for GANs-Based Imbalanced Classification (ICDM 2019)
• Decoupling Representation and Classifier for Long-tailed Recognition (ICLR 2020)

• 课程学习

• Dynamic Curriculum Learning for Imbalanced Data Classification (ICCV 2019)

• 两阶段学习

• Brain tumor segmentation with deep neural networks (2017, 1200+ 引用) ，先在类别平衡的数据集进行预训练，然后在原始的类别不平衡数据集上进行微调网络 softmax 之前的最后一层输出层；

• 网络结构

• BBN: Bilateral-Branch Network with Cumulative Learning for Long-Tailed Visual Recognition (CVPR 2020)