– Ground truth

In machine learning, the term “ground truth” refers to the accuracy of the training set’s classification for supervised learning techniques. This is used in statistical models to prove or disprove research hypotheses. The term “ground truthing” refers to the process of gathering the proper objective (provable) data for this test. Compare with gold standard.

Ground： 地基、地板。意思就是地板上的真相，基础事实。注意这个词用在监督学习上的，只有监督学习有 Ground Truth。意思是给机器训练用的标定数据的准确率。在朴素贝叶斯方法训练垃圾邮件分类的任务中，人工标注的结果就是一个 ground truth。对比的名词是 Gold standard，统计学上意思是在合理条件（人类可实现）下能够达到的最好结果。（等于废话，什么都没说。这个最好结果跟正无穷一样，是一个理论值）。

– 残差 Residual

统计学中的概念，拟合值和观测值的差距。如果回归模型正确的话，可以将残差看作误差的观测值。在回归问题中，残差就是回归结果跟 ground truth 的差距？粗暴一点理解就是模型还没有学到的那部分东西，M$ 的 ResNet 2015 年提出这个东西。

– Batch normal

– 激活函数

– 泛化能力 Generalization ability