关于PR曲线、Precision、Recall、TP、FP、FN等概念的细节可参考机器学习评价指标合辑
关于IoU的概念和实现可参考IoU
mAP: mean Average Precision, 即各类别AP的平均值
AP: PR曲线下面积，其实是在0～1之间所有recall值的precision的平均值。
PR曲线: Precision-Recall曲线
Precision: TP / (TP + FP)
Recall: TP / (TP + FN)
TP: IoU>Threshold的检测框数量（同一Ground Truth只计算一次）
FP: IoU<=Threshold的检测框，或者是检测到同一个GT的多余检测框的数量
FN: 没有检测到的GT的数量
TN:不使用。
2.关于AP与PR曲线的面积
由前面定义，我们可以知道，要计算mAP必须先绘出各类别PR曲线，计算出AP。
1）积分求解
AP既然是PR曲线下的面积，那么可以通过积分来求解，即
2）插值求解
但通常情况下都是使用估算或者插值的方式计算：
（1）approximated average precision：
估算计算方式
（2）Interpolated average precision
插值计算方式
k 为每一个样本点的索引，参与计算的是所有样本点
取第 k 个样本点之后的样本中的最大值。
（3）插值方式进一步演变，
这是通常意义上的 Interpolated 形式的 AP，VOC10后采用此方式。
3.VOC采取的两种插值方式
如何采样PR曲线，VOC采用过两种不同方法。
参见：The PASCAL Visual Object Classes Challenge 2012 (VOC2012) Development Kit
在VOC2010以前，只需要选取当Recall >= 0, 0.1, 0.2, …, 1共11个点时的Precision最大值，然后AP就是这11个Precision的平均值。在VOC2010及以后，需要针对每一个不同的Recall值（包括0和1），选取其大于等于这些Recall值时的Precision最大值，然后计算PR曲线下面积作为AP值。
1）11-point interpolation（VOC07，10之前）
11-point interpolation通过平均一组11个等间距的Recall值[0,0.1,0.2，…，1]对应的Precision来绘制P-R曲线.
计算precision时采用一种插值方法（interpolate），即对于某个recall值r，precision值取所有recall>=r中的最大值（这样保证了p-r曲线是单调递减的，避免曲线出现抖动）
2）Interpolating all points（VOC10之后）
不再是对召回率在[0,1]之间的均匀分布的11个点，而是对每个不同的recall值都计算一个ρinterp(r)，然后求平均，r取recall>=r+1的最大precision值。
4.mAP计算示例(两种VOC方式比较)
一个例子有助于我们更好地理解插值平均精度的概念。 考虑下面的检测：
有7个图像，其中15个ground truth objects由绿色边界框表示，24个检测到的对象由红色边界框表示。 每个检测到的对象由字母（A，B，…，Y）标识，且具有confidence。
下表显示了具有相应置信度的边界框。 最后一列将检测标识为TP或FP。 在此示例中，如果IOU>=30％，则考虑TP，否则为FP。 通过查看上面的图像，我们可以粗略地判断检测是TP还是FP。
在一些图像中，存在多于一个与同一个ground truth重叠的检测结果（图像2,3,4,5,6和7）。 对于这些情况，选择具有最高IOU的检测框，丢弃其他框。 此规则由PASCAL VOC 2012度量标准应用：“例如，单个对象的5个检测（TP）被计为1个正确检测和4个错误检测”。
通过计算累积的TP或FP检测的precision和recall来绘制P-R曲线。 为此，首先我们需要通过置信度对检测进行排序，然后我们计算每个检测的precision和recall，如下表所示：
根据precision和recall值绘制P-R曲线如下图
如前所述，有两种不同的方法可以测量插值AP：11点插值和插值所有点。 下面我们在它们之间进行比较：
1）计算11-point interpolation
11-point interpolation AP是在一组11个recall levels（0,0.1，…，1）处的平均精度。 插值精度值是通过采用其recall大于当前recall值的最大precision获得，如下图所示：
通过使用11-point interpolation，我们得到
AP = 26.84%
2）计算在所有点中执行的插值
通过插值所有点，AP可以看作P-R曲线的AUC的近似值。 目的是减少曲线中摆动的影响。 通过应用之前给出的方程，我们可以获得这里将要展示的区域。 我们还可以通过查看从最高（0.4666）到0（从右到左看图）的recall来直观地获得插值precision，并且当我们减少recall时，我们获得最高的precision值如下图所示：
看一下上图，我们可以将AUC划分为4个区域（A1，A2，A3和A4）：
计算总面积，可以得到AP：
两种不同插值方法之间的结果略有不同：分别通过每点插值和11点插值分别为24.56％和26.84％。
5.VOC方式代码实现
Facebook开源的Detectron包含VOC数据集的mAP计算，这里贴出其核心实现，以对mAP的计算有更深入的理解。
1）读取xml文件
- def parse_rec(filename):
- """Parse a PASCAL VOC xml file."""
- tree = ET.parse(filename)
- objects = []
- for obj in tree.findall( 'object'):
- obj_struct = {}
- obj_struct[ 'name'] = obj.find( 'name').text
- obj_struct[ 'pose'] = obj.find( 'pose').text
- obj_struct[ 'truncated'] = int(obj.find( 'truncated').text)
- obj_struct[ 'difficult'] = int(obj.find( 'difficult').text)
- bbox = obj.find( 'bndbox')
- obj_struct[ 'bbox'] = [int(bbox.find( 'xmin').text),
- int(bbox.find( 'ymin').text),
- int(bbox.find( 'xmax').text),
- int(bbox.find( 'ymax').text)]
- objects.append(obj_struct)
-
- return objects
2）计算precision和recall：
模型的输出包含bbox和对应的置信度(confidence)，首先按照置信度降序排序，每添加一个样本，阈值就降低一点（真实情况下阈值降低，iou不一定降低，iounet就是对这里进行了改进）。这样就有多个阈值，每个阈值下分别计算对应的precision和recall。
- # 计算每个类别对应的AP，mAP是所有类别AP的平均值
- def voc_eval(detpath,
- annopath,
- imagesetfile,
- classname,
- cachedir,
- ovthresh=0.5,
- use_07_metric=False):
- """rec, prec, ap = voc_eval(detpath,
- annopath,
- imagesetfile,
- classname,
- [ovthresh],
- [use_07_metric])
- Top level function that does the PASCAL VOC evaluation.
- detpath: Path to detections
- detpath.format(classname) should produce the detection results file.
- annopath: Path to annotations
- annopath.format(imagename) should be the xml annotations file.
- imagesetfile: Text file containing the list of images, one image per line.
- classname: Category name (duh)
- cachedir: Directory for caching the annotations
- [ovthresh]: Overlap threshold (default = 0.5)
- [use_07_metric]: Whether to use VOC07's 11 point AP computation
- (default False)
- """
- # assumes detections are in detpath.format(classname)
- # assumes annotations are in annopath.format(imagename)
- # assumes imagesetfile is a text file with each line an image name
- # cachedir caches the annotations in a pickle file
-
- # first load gt
- if not os.path.isdir(cachedir):
- os.mkdir(cachedir)
- imageset = os.path.splitext(os.path.basename(imagesetfile))[ 0]
- cachefile = os.path.join(cachedir, imageset + '_annots.pkl')
- # read list of images
- with open(imagesetfile, 'r') as f:
- lines = f.readlines()
- imagenames = [x.strip() for x in lines]
-
- if not os.path.isfile(cachefile):
- # load annots
- recs = {}
- for i, imagename in enumerate(imagenames):
- recs[imagename] = parse_rec(annopath.format(imagename))
- if i % 100 == 0:
- logger.info(
- 'Reading annotation for {:d}/{:d}'.format(
- i + 1, len(imagenames)))
- # save
- logger.info( 'Saving cached annotations to {:s}'.format(cachefile))
- with open(cachefile, 'w') as f:
- cPickle.dump(recs, f)
- else:
- # load
- with open(cachefile, 'r') as f:
- recs = cPickle.load(f)
- # 提取所有测试图片中当前类别所对应的所有ground_truth
- # extract gt objects for this class
- class_recs = {}
- npos =
- # 遍历所有测试图片
- for imagename in imagenames:
- # 找出所有当前类别对应的object
- R = [obj for obj in recs[imagename] if obj[ 'name'] == classname]
- # 该图片中该类别对应的所有bbox
- bbox = np.array([x[ 'bbox'] for x in R])
- difficult = np.array([x[ 'difficult'] for x in R]).astype(np.bool)
- # 该图片中该类别对应的所有bbox的是否已被匹配的标志位
- det = [ False] * len(R)
- # 累计所有图片中的该类别目标的总数，不算diffcult
- npos = npos + sum(~difficult)
- class_recs[imagename] = { 'bbox': bbox,
- 'difficult': difficult,
- 'det': det}
-
- # read dets
- detfile = detpath.format(classname)
- with open(detfile, 'r') as f:
- lines = f.readlines()
-
- splitlines = [x.strip().split( ' ') for x in lines]
- # 某一行对应的检测目标所属的图像名
- image_ids = [x[ 0] for x in splitlines]
- # 读取该目标对应的置信度
- confidence = np.array([float(x[ 1]) for x in splitlines])
- # 读取该目标对应的bbox
- BB = np.array([[float(z) for z in x[ 2:]] for x in splitlines])
- # 将该类别的检测结果按照置信度大小降序排列
- sorted_ind = np.argsort(-confidence)
- BB = BB[sorted_ind, :]
- image_ids = [image_ids[x] for x in sorted_ind]
- # 该类别检测结果的总数（所有检测出的bbox的数目）
- # go down dets and mark TPs and FPs
- nd = len(image_ids)
- # 用于标记每个检测结果是tp还是fp
- tp = np.zeros(nd)
- fp = np.zeros(nd)
- # 按置信度遍历每个检测结果
- for d in range(nd):
- # 取出该条检测结果所属图片中的所有ground truth
- R = class_recs[image_ids[d]]
- bb = BB[d, :].astype(float)
- ovmax = -np.inf
- BBGT = R[ 'bbox'].astype(float)
- # 计算与该图片中所有ground truth的最大重叠度
- if BBGT.size > 0:
- # compute overlaps
- # intersection
- ixmin = np.maximum(BBGT[:, 0], bb[ 0])
- iymin = np.maximum(BBGT[:, 1], bb[ 1])
- ixmax = np.minimum(BBGT[:, 2], bb[ 2])
- iymax = np.minimum(BBGT[:, 3], bb[ 3])
- iw = np.maximum(ixmax - ixmin + 1., 0.)
- ih = np.maximum(iymax - iymin + 1., 0.)
- inters = iw * ih
-
- # union
- uni = ((bb[ 2] - bb[ 0] + 1.) * (bb[ 3] - bb[ 1] + 1.) +
- (BBGT[:, 2] - BBGT[:, 0] + 1.) *
- (BBGT[:, 3] - BBGT[:, 1] + 1.) - inters)
-
- overlaps = inters / uni
- ovmax = np.max(overlaps)
- jmax = np.argmax(overlaps)
- # 如果最大的重叠度大于一定的阈值
- if ovmax > ovthresh:
- # 如果最大重叠度对应的ground truth为difficult就忽略
- if not R[ 'difficult'][jmax]:
- # 如果对应的最大重叠度的ground truth以前没被匹配过则匹配成功，即tp
- if not R[ 'det'][jmax]:
- tp[d] = 1.
- R[ 'det'][jmax] = 1
- # 若之前有置信度更高的检测结果匹配过这个ground truth，则此次检测结果为fp
- else:
- fp[d] = 1.
- # 该图片中没有对应类别的目标ground truth或者与所有ground truth重叠度都小于阈值
- else:
- fp[d] = 1.
-
- # 按置信度取不同数量检测结果时的累计fp和tp
- # np.cumsum([1, 2, 3, 4]) -> [1, 3, 6, 10]
- # compute precision recall
- fp = np.cumsum(fp)
- tp = np.cumsum(tp)
- # 召回率为占所有真实目标数量的比例，非减的，注意npos本身就排除了difficult，因此npos=tp+fn
- rec = tp / float(npos)
- # 精度为取的所有检测结果中tp的比例
- # avoid divide by zero in case the first detection matches a difficult
- # ground truth
- prec = tp / np.maximum(tp + fp, np.finfo(np.float64).eps)
- # 计算recall-precise曲线下面积（严格来说并不是面积）
- ap = voc_ap(rec, prec, use_07_metric)
-
- return rec, prec, ap
这里最终得到一系列的precision和recall值，并且这些值是按照置信度降低排列统计的，可以认为是取不同的置信度阈值（或者rank值）得到的。
3）计算AP：
- def voc_ap(rec, prec, use_07_metric=False):
- """Compute VOC AP given precision and recall. If use_07_metric is true, uses
- the VOC 07 11-point method (default:False).
- """
- # VOC2010以前按recall等间隔取11个不同点处的精度值做平均(0., 0.1, 0.2, …, 0.9, 1.0)
- if use_07_metric:
- # 11 point metric
- ap = 0.
- for t in np.arange( 0., 1.1, 0.1):
- if np.sum(rec >= t) == 0:
- p = 0
- else:
- # 取recall大于等于阈值的最大precision，保证precision非减
- p = np.max(prec[rec >= t])
- ap = ap + p / 11.
- # VOC2010以后取所有不同的recall对应的点处的精度值做平均
- else:
- # correct AP calculation
- # first append sentinel values at the end
- mrec = np.concatenate(([ 0.], rec, [ 1.]))
- mpre = np.concatenate(([ 0.], prec, [ 0.]))
- # 计算包络线，从后往前取最大保证precise非减
- # compute the precision envelope
- for i in range(mpre.size - 1, 0, -1):
- mpre[i - 1] = np.maximum(mpre[i - 1], mpre[i])
-
- # 找出所有检测结果中recall不同的点
- # to calculate area under PR curve, look for points
- # where X axis (recall) changes value
- i = np.where(mrec[ 1:] != mrec[: -1])[ 0]
-
- # and sum (\Delta recall) * prec
- # 用recall的间隔对精度作加权平均
- ap = np.sum((mrec[i + 1] - mrec[i]) * mpre[i + 1])
- return ap
计算各个类别的AP值后，取平均值就可以得到最终的mAP值了。但是对于COCO数据集相对比较复杂，不过其提供了计算的API，感兴趣可以看一下cocodataset/cocoapi。
6.PASCAL数据集mAP计算方式
PASCAL VOC最终的检测结构是如下这种格式的：
比如comp3_det_test_car.txt:
- 000004 0.702732 89 112 516 466
- 000006 0.870849 373 168 488 229
- 000006 0.852346 407 157 500 213
- 000006 0.914587 2 161 55 221
- 000008 0.532489 175 184 232 201
每一行依次为 ：
<image identifier> <confidence> <left> <top> <right> <bottom>
每一行都是一个bounding box，后面四个数定义了检测出的bounding box的左上角点和右下角点的座标。
在计算mAP时，如果按照二分类问题理解，那么每一行都应该对应一个标签，这个标签可以通过ground truth计算出来。
但是如果严格按照 ground truth 的座标来判断这个bounding box是否正确，那么这个标准就太严格了，因为这是属于像素级别的检测，所以PASCAL中规定当一个bounding box与ground truth的 IOU>0.5 时就认为这个框是正样本，标记为1；否则标记为0。这样一来每个bounding box都有个得分，也有一个标签，这时你可以认为前面的文件是这样的，后面多了一个标签项
- 000004 0.702732 89 112 516 466 1
- 000006 0.870849 373 168 488 229 0
- 000006 0.852346 407 157 500 213 1
- 000006 0.914587 2 161 55 221 0
- 000008 0.532489 175 184 232 201 1
进而你可以认为是这样的，后面的标签实际上是通过座标计算出来的
- 000004 0.702732 1
- 000006 0.870849 0
- 000006 0.852346 1
- 000006 0.914587 0
- 000008 0.532489 1
这样一来就可以根据前面博客中的二分类方法计算AP了。但这是某一个类别的，将所有类别的都计算出来，再做平均即可得到mAP.
7.COCO数据集AP计算方式
COCO数据集里的评估标准比PASCAL 严格许多
COCO检测出的结果是json文件格式，比如下面的：
- [
- {
- "image_id": 139,
- "category_id": 1,
- "bbox": [
- 431.23001,
- 164.85001,
- 42.580002,
- 124.79
- ],
- "score": 0.16355941
- },
- ……
- ……
- ]
我们还是按照前面的形式来便于理解：
- 000004 0.702732 89 112 516 466
- 000006 0.870849 373 168 488 229
- 000006 0.852346 407 157 500 213
- 000006 0.914587 2 161 55 221
- 000008 0.532489 175 184 232 201
前面提到可以使用IOU来计算出一个标签，PASCAL用的是 IOU>0.5即认为是正样本，但是COCO要求IOU阈值在[0.5, 0.95]区间内每隔0.05取一次，这样就可以计算出10个类似于PASCAL的mAP，然后这10个还要再做平均，即为最后的AP，COCO中并不将AP与mAP做区分，许多论文中的写法是 [email protected][0.5:0.95]。而COCO中的 [email protected] 与PASCAL 中的mAP是一样的。
8.参考资料
How to calculate mAP for detection task for the PASCAL VOC Challenge
