知识蒸馏论文学习
常见的监督学习方法包括神经网络，支持向量机。
回归和分类的算法区别在于输出变量的类型，定量输出称为回归，或者说是连续变量预测;定性输出称为分类，或者说是离散变量预测。
无监督学习算法:无训练样本。
事先不知道样本的类别，通过某种办法，把相似的样本放在一起归为一类。
半监督学习:有少量训练样本，学习机以从训练样本获得的知识为基础，结合测试样本的分布情况逐步修正已有知识，并判断测试样本的类别。
知识蒸馏(KD)是模型压缩的一种常用方法。
知识蒸馏的核心思想是先训练一个复杂网络模型，然后使用这个复杂网络的输出和数据的真是标签去训练一个更小的网络，因此知识蒸馏框架通常包含了一个复杂模型和一个小模型。
1，提升模型精度用户如果对目前的网络模型A的精度不是很满意，那么可以先训练一个更高精度的teacher模型B(通常参数量更多，时延更大)，然后用这个训练好的teacher模型B对student模型A进行知识蒸馏，得到一个更高精度的模型。
2，降低模型时延，压缩网络参数。
3，图片标签之间的域迁移
用户使用狗和猫的数据集训练了一个teacher模型A，使用香蕉和苹果戌年了一个teacher模型B，那么就可以用这两个模型同时蒸馏出一个可以识别狗，猫，香蕉以及苹果的模型，将两个不同域的数据集进行集成和迁移。
4，降低标注量
通过半监督的蒸馏方式来实现，用户利用训练好的teacher网络模型来对未标注的数据集进行蒸馏，达到降低标注量的目的。
logits在深度学习中表示模型最后一层的数据，也就是raw data，之后可以接softmax或者sigmod进行缩放logits的范围为 [− ∞ - \infty−∞，+ ∞ + \infty+∞]
** logits: 未归一化的概率， 一般也就是 softmax层的输入。