yolov5目标检测网络——Kmeans聚类获取anchor框尺寸

算上这一篇，yolov5目标检测框架我们已经更新到第3篇了，前面两篇分别讲解了coco数据集json标签文件的解析，以及yolov5网络的网络结构与实现：

使用深度学习进行目标检测——COCO数据集json标签文件解析

yolov5目标检测网络——网络结构原理与实现

在本文中，我们主要讲目标检测中anchor框的概念以及使用kmeans聚类算法获取anchor框尺寸的原理与实现。

01

上篇文章所讲的CSP1_n和CSP2_n结构有误，在此做出纠正

上篇文章中，我们讲到CSP1_n和CSP2_n的结构中都包含了若干个ResUnit_n模块，其中每个ResUnit_n模块又包含了若干个CBL模块，如下图所示：

ResUnit_n结构

CSP1_n和CSP2_n的错误结构

其实上图的CSP1_n和CSP2_n结构是不对的，实际上每个CSP1_n或CSP2_n仅包含一个ResUnit_n模块，而不是多个。其中n值决定了ResUnit_n模块中CBL模块的个数，也即输入的n值确定了CSP1_n和CSP2_n中CBL模块的个数为2n。如下图所示：

CSP1_n和CSP2_n的正确结构

02

预测目标框回归原理

当我们初次看到“预测目标框回归”这个字眼的时候，往往是懵逼的，其实它也没有那么玄乎，这就是一个把网络的预测信息转换为实际目标框信息的操作。那么问题来了，为什么需要一个转换操作呢？

假如让网络直接去预测目标框的位置坐标和宽高，坐标与宽高的取值范围都太广泛了，这无疑增大了网络的训练时间和学习难度，导致网络的不稳定，严重情况下甚至使网络在错误的学习方向上渐行渐远。

为解决该问题，yolov5网络在预测信息中加入了目标框的先验信息。通俗理解，就是在网络训练之前，人为地先告诉网络目标框的信息范围，比如框中心坐标的取值范围、宽高的取值范围。然后网络在这个取值范围的基础上再去学习，以获得更精确的框信息。这样一来相当于对网络的学习方向作了限制，因此很大程度增加了网络的稳定性以及收敛速度。如下图所示：

具体做法：

• 框的中心坐标

我们在前文已经讲过，yolov5网络把640*640的图像划分成N*N（通常为80*80，或40*40，或20*20）的网格区域。网络的输出端则输出所有网格的预测信息，每个网格的预测信息包括目标的分类概率、置信度，以及目标框的x中心坐标、y中心坐标、长、宽（xpred、ypred、wpred、hpred）。对于每个网格，它预测目标框的位置就在该网格附近，因此x中心坐标、y中心坐标的大概范围是可以确定的，利用此特性可以对该网格预测的x中心坐标、y中心坐标作取值范围限制，如下式：

上式中，xgrid和ygrid为该网格的网格坐标（0≤xgrid<N，0≤ygrid<N），xgrid和ygrid是确定的已知信息，也即先验信息。xpred和ypred为该网格对应目标框的中心坐标预测值（0<xpred<1，0<ypred<1）。xc和yc为目标框的回归中心坐标值，也即经过转换之后的目标框中心坐标，根据上式得到xc和yc的取值范围如下，相对网格坐标偏移-0.5~1.5，这符合目标框位置在该网格附近的事实。

• 框的宽、高

预测目标框的宽、高也加入了先验信息：

上式中，wpred和hpred为网络输出的目标框宽、高预测值（0<wpred<1，0<hpred<1），wanchor和hanchor为该目标框宽、高的先验信息，也即事先告诉网络该目标框宽、高的取值范围：

那么wanchor和hanchor又是怎么事先得到的呢？这就需要对训练集包含的所有目标框的宽、高做统计分析了——统计训练集中所有目标框的宽、高，并从中提取出几个主要的宽、高组合，也即最具有代表性的宽、高组合，这几个宽高组合对应的几个方框，就是我们所说的anchor框。yolov5网络使用kmeans算法将训练集所包含所有目标框的宽、高进行聚类，得到9个最具有代表性的宽、高组合，也即9个anchor框，然后根据宽、高的大小把这9个anchor分成3组：

• 宽、高最小的3个anchor框分配给80*80网格的每一个格子
• 宽、高居中的3个anchor框分配给40*40网格的每一个格子
• 宽、高最大的3个anchor框分配给20*20网格的每一个格子

这与前文我们说的每一层网格输出信息就对应了起来，以下3*80*80、3*40*40、3*20*20中的数字3也即对应上方的3个anchor框：

• 80*80网格输出3*80*80个小尺寸检测目标的信息
• 40*40网格输出3*40*40个中尺寸检测目标的信息
• 20*20网格输出3*20*20个大尺寸检测目标的信息

03

Kmeans算法原理

跟我们前文讲过的DBSCAN聚类算法、AGNES聚类算法类似，kmeans也是一种常用的无监督聚类算法。

DBSCAN聚类算法的理解与应用

AGNES聚类算法的理解与应用

假设数据集有X0、X 1、X 2、…、X m-1这m个样本，其中每个样本Xi又是一个长度为n的一维向量：

那么Kmeans算法的基本步骤如下：

1. 从m个样本中随机选择k个样本（C0、C 1、C 2、…、C k-1）作为中心点，这里的k为预先设定好的类别数，比如yolov5需要根据宽、高把训练集的所有目标框分成9类，那么k=9。
2. 分别计算每个样本与k个中心点的距离，然后将该样本分配给距其最近的中心点。距离的度量通常使用欧式距离，比如对于任意样本Xi，分别计算其与C0、C 1、C 2、…、C k-1的欧式距离（如下式），然后比较d(Xi,C0)、d(Xi,C1)、d(Xi,C2)、…、d(Xi,Ck-1)得出距离样本Xi最小的中心点，并将样本Xi分配给该中心点。
   
   
   
3. 经过步骤2，每个样本都被分配给距离它最近的1个中心点，分配到相同中心点的所有样本组成1个类别或簇，因此所有样本被分成了k个簇。然后计算k个簇的质心，作为新的k个中心点把原本中心点取代掉。比如某个簇包含3个样本Xt0、X t1、X t2，那么该簇的质心C i按下式计算：
4. 判断步骤3得到的新中心点相对原中心点的的变化量是否小于设定阈值，小于阈值则停止计算。再判断2、3步骤的重复次数（迭代次数）是否超过设定次数，如果超过也停止计算。

04

Opencv3.4.1的Kmeans算法接口说明

Opencv3.4.1集成了Kmeans算法：

double kmeans(
                 InputArray data, 
                 int K, 
                 InputOutputArray bestLabels,
                 TermCriteria criteria, 
                 int attempts,
                 int flags, 
                 OutputArray centers = noArray() 
              );

参数说明：

测试代码：

void kmeans_test(void)
{
  //10个待聚类样本，每个样本的数据长度为1
  float buffer[10] = {0.1, 5.2, 10.35, 0.08, 4.9, 5.234, 11.0, 0.12, 9.89, 0.05};


  Mat input(10, 1, CV_32FC1, buffer);


  const int K = 3;  //划分为3类
  const int attemps = 300;  //kmeans计算300次
  //迭代终止条件
  const cv::TermCriteria term_criteria = cv::TermCriteria(cv::TermCriteria::EPS + cv::TermCriteria::COUNT, 300, 0.01);
  cv::Mat labels_, centers_;
  cv::kmeans(input, K, labels_, term_criteria, attemps, cv::KMEANS_RANDOM_CENTERS, centers_);


  cout << input << endl;
  cout << endl << labels_ << endl;
  cout << endl << centers_ << endl;
}

运行结果：

05

Kmeans聚类获取anchor框

yolov5使用Kmeans算法聚类训练集中所有目标框的宽、高，结果得到9个宽、高组合，也即得到9个anchor框。不过这里使用Kmeans算法的样本距离度量不是欧式距离，而是iou距离，因为yolo系列的作者认为当不同样本的宽、高差距比较大时，使用欧式距离会导致聚类结果误差很大，所以改为使用iou距离。下面我们介绍一下iou的概念。

iou是衡量两个方框相似度（包括位置、宽、高的相似度）的量，是两个方框相交区域面积与相并部分面积的比值，所以也称为交并比。

如上图所示，两个方框的宽、高分别为(w1,h1)和(w2,h2)，红色区域为两个框的相交区域，其宽、高为(w,h)，“蓝+红+灰”区域为两个框的相并区域，那么相交区域的面积为：

相并区域的面积为：

那么得到iou：

iou的取值范围为[0,1]，当两个框没有相交区域时iou取0，当两个框完全重合时iou取1。所以iou值越大说明两个框的形状和位置越相似。为了使度量值与相似度负相关，也即度量值越小相似度越大，我们对iou值取个负值并加1，得到：

上式就是使用Kmeans算法聚类目标框宽、高时使用的距离度量。因为我们只关心框的宽、高，不关心它们的位置，所以假设两个框的中心点是重合的，如下图所示：

不过，如果我们使用Opencv的Kmeans算法来计算，存在一个问题，就是Opencv的Kmeans算法默认使用欧式距离衡量样本距离，不能使用iou度量，所以会存在上述说的不同样本宽、高差距大导致聚类结果误差大的问题。为了使用Opencv的Kmeans接口，又避免该问题，我们可以先对每个目标框的宽、高做一个归一化，使它们的值都在0~1范围之间，这样就不存在数值差别大的问题了。如下式，其中row、col分别为图像的高和宽：

最后聚类得到的结果，也是0~1之间的值，所以我们需要再乘以640，转换为640*640坐标系的宽、高。代码如下，其中json标签文件的解析，我们前文已经讲过：

void kmeans_antror(void)
{
  json j;
  //解析json标签文件，得到训练集包含的所有目标框的宽、高
  ifstream jfile("D:/数据/coco/annotations_trainval2017/annotations/instances_train2017.json");
  jfile >> j;
  ns::coco_label cr;
  ns::from_json(j, cr);
  //每个样本的数据内容为宽、高，因此每个样本的数据长度为2
  Mat input = Mat::zeros(cr.annotations_list.size(), 2, CV_32FC1);
  for (int i = 0; i < cr.annotations_list.size(); i++)
  {
    cout << "i: " << i << endl;
    //读取目标框对应的图像，得到图像的宽、高
    Mat image = read_img_grom_id("F:/train2017/%012d.jpg", cr.annotations_list[i].image_id);
    //对目标框的宽、高做归一化
    float w = cr.annotations_list[i].bbox[2] / image.cols;// *640;
    float h = cr.annotations_list[i].bbox[3] / image.rows;// *640;
    //将目标框的宽、高写入Opencv的Mat中
    input.ptr<float>(i)[0] = w;   
    input.ptr<float>(i)[1] = h;   


  }


  const int K = 9;  //聚类的类别数
  const int attemps = 300;   //kmeans算法的计算次数
  //迭代的停止条件
  const cv::TermCriteria term_criteria = cv::TermCriteria(cv::TermCriteria::EPS + cv::TermCriteria::COUNT, 300, 0.01);
  cv::Mat labels_, centers_;
  cv::kmeans(input, K, labels_, term_criteria, attemps, cv::KMEANS_RANDOM_CENTERS, centers_);
  //将聚类得到的0~1结果乘以640转换得到640*640图像中的对应目标框宽、高
  cout << centers_ * 640 << endl;
}

运行结果如下，从上到下就是9个anchor框的宽、高：