Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks 
Kaipeng Zhang, Zhanpeng Zhang, Zhifeng Li, Senior Member, IEEE, and Yu Qiao, Senior Member, IEEE

联合 人脸 检测 与 对齐 使用 多任务 

discrete 英/dɪˈskriːt/ 美/dɪˈskriːt/  adj. 离散的；分离的；各别的；互不相连的
也可以理解为串联，所串的事物是不相关的

物体检测：类别，概率，框，
- 类别：有哪些种类的物体
- 概率：每类的概率多少
- 框：两个框的offset 

人脸对齐：眼睛，鼻子，嘴角 五点定位

二分类器解决多类别的问题

 
一个模型判断一个事物，有多少类别，就训练多少个模型

模型1，输入一张图像数据，判断是否含有事物A，
模型2，输入一张图像数据，判断是否含有事物B，
...
...
... 

机器学习要求很强的数学能力，
深度学习要求灵活解决问题的能力

重在思想，思想可以联接二者，思想可以联接一切...学科
    

物体检测多分类

 
MTCNN，或者说物体检测，是一次分出多个物体类别，并且还可以给物体加上框 
    

resize的目的

 
模型输入固定，图像resize成一系列比例的图片  
- 因为不知道图像上哪些地方有人脸
- 也不知道人脸的大小，是小脸还是大脸 
- 因此，将输入的图片resize成一系列大小的图片
- 如果整个图片都是人脸，那么它只有resize成小图片，即与框差不多的大小的图片时，才能被检测出来 
- 如果人脸是图片上的一小块，那么它只有resize成大图片，然后切片出的小图片，与框匹配才能检测出来 

小图检测大脸
大图检测小脸
    

切图之P-Net

 
P-Net对切图后的小图片进行判断
- 这些小图片从原始图片resize后的图片上切 

P-Net的判断非常简单
- 切图后生成了大量的图片，大部分是背景，背景与人脸的区别还是比较大的
- P-Net 就是用简单的办法，去除哪些不怎么像人脸的背景
- 处理后的结果，包含了人脸，也包含了有点像人脸的图片 
    
可以认为第1阶段排除了那些根本不可能的数据，且是用非常简单的方法进行的排除

 
P-Net 
切图+初筛 
先宁可错选也要多选，然后 初步筛选 

 
NMS：
非极大值抑制，抑制的是得分低的预测框，涉及到两个指标，
IOU（交并比：两个框的重叠区域面积与两个框并集面积的比值）和预测框得分，
若有多个预测框预测的是同一个物体，若两个框的IOU值大于阈值（一般阈值取0.5和0.7），
那么NMS算法将会把得分低的预测框丢弃。

参考 【深度学习】——物体检测细节处理（NMS、样本不均衡、遮挡物体）
  

 
R-Net 精修 
- 不同于PNet用使用卷积，RNet最后使用了全连接 

O-Net 精修+五点定位 
  

框的设计

 
模型设计一个固定大小的框，12*12 

图片按固定的比例，比如0.9开始缩放，至到最小的框接近12*12 
- 如果该图片上只有一个人脸，且人脸挤满整个图片的话，这张图片收缩至12*12后，刚好与模型框匹配
- 如果该图片上的人脸比较小，收缩到12*12后，人脸特征几乎消失，将被模型判断为非人脸
- 这就是小图匹配大脸 
- 然后是比12*12稍微大点的，按12*12的尺寸切图，必定能切中人脸，
- 因为该图片就比12*12大了一圈，可是切出了多个12*12尺寸的图片
- 再大点，再大点...一点点增大，但切图全是12*12,这样逐渐增大，必定能切中所有的人脸 

如此切图逻辑，所有的图片都在12*12的图片上，只是不同图片的缩放比例不同 

切图大小是12*12，那后面的24*24，48*48是怎么回事？

 
图片是经过缩放的，即所有数据计算的是比例，这意味着同样可以应用到原图上 

原始图片上的标注框对应的是原图的坐标位置，中间处理全部转化为比例
- 比如,x/宽度，y/高度

12*12大小的图片进入模型之后，输出概率与框的偏移率 
- 确定该图片为人脸，转换后比例后，
- 实际上确定的是图片上某个比例处，比如图片左上角宽30%，高40%的位置有个人脸 
- 24*24是以这个位置为中心，稍微扩大一点范围，取的图片 
- 48*48的图片也是如此，只是多了五个位置偏移率的计算  
  

 
任务分析
--------------------------------
1. 判断一张图片是否为人脸
2. 在图片人脸部分画上一个框
3. 标注眼睛，鼻子，嘴角


数据集采集与构建
--------------------------------
针对任务1：
将任务简化为判断一张图片是不是正面人脸，
故，数据集的正样本要采集人的正脸图片

针对任务2：
提前在人脸图片上，在人脸部位画个框

针对任务3：
在人脸图片上眼睛，鼻子，嘴角部分 标注个点

数据集采集
由以上条件，真实采集的数据集是这样的：
N张图片，每张图片都是包含人脸的，
并且是人的正脸，就是面向镜头的正脸，
可以是头像，或上半身图像，或全身图像，
关键是每张图片的脸都是正脸，正脸，正脸... 

为什么非要是正脸？
AI还不知道什么是人脸呢,你就拿一个侧脸让它判断，这不是为难它，是为难自己了... 
每张图片上没有画框，但都对应一个标注文件，
里面记录人的正脸部分的框的坐标，以及眼睛，鼻子，嘴角的坐标


由 模型需要 决定的数据处理及损失函数设计
--------------------------------
任务1：
判断是否为人脸，
根据标注文件中人正脸的坐标，
去原图片上把图片扣下来，
再抖一下，就有人脸的正负样本了

任务2：
由任务1得到一张人脸的图片，这实际上就是当初的标注框内的图片 
怎么让程序框学习这个框呢？
不做处理是没办法了，因为现在的人脸就是当初的框，100%的正脸

要处理就得将一个问题再细化一些 
当初的人脸标注框，实际上大多框的人的头像，把耳朵，头发，脖子也给框进去部分
除了这个外，有的框还把背景框进去一部分，
也就是说，得到的人脸图片，虽然一眼看过去是个人脸，但又不完全是人脸 

于是新的任务就出来了：找到这张图片上，真正人脸的位置，记为box1
将原来标注框按一定比例收缩一圈，这样得到的图片为新任务的正样本，

这基于数据采集的一个标框前提，框的中心，就是真实的人脸
再科一下，得到的图片为新任务的负样本box2
这里负样本计算的是抖动后的图片box2相对box1的偏移率，
偏移率 = (box2 - box1)/box1的最大边长

损失函数设计为让这个偏移率逼近0 
- 这就是一个学习过程，让AI认识到什么是正脸
- 同时，对于接近正脸的事物也进行学习，比如侧了10%的样子是什么，侧20%的样子又是什么
- 对于周边事物的认识也有利于AI判断真正的正脸

任务3：
由任务2得到了box2，
损失函数设计为让
原五点坐标相对box2的偏移率2 
逼近
原五坐标相对box1的偏移率1

原始数据集

 
原始图片上做人脸框标注，并记录框的坐标

数据转化

 
正负样本生成
- 取标注框，收缩10%为正样本，
- 抖动一下，重叠度低于一定阈值为负样本


框的偏移率
- 转化为框的四个点x,y坐标的偏移率 
- (x1-x2)/x1  
- 如此，生成的每个图片都带了一个偏移率
- 因为图片是按不同比例缩放的，偏移率也是使用比例计算，与切图在原图片上的偏移率一致 

新的数据集是标注框附近的切图+框的偏移率 

训练

 
训练是并行的，得同时准备一堆12×12,24×24,48×48的图像，
让模型学习什么是人脸 及 偏差多少以内仍算人脸 
并在此基础上进一步确定 眼睛，鼻子，嘴角 

这个觉得耳朵也是一个很好的边界，添加一下耳朵效果可能会更好 
  

预测

 
预测是串行的，先PNet,后Rnet,最后Onet,前一个网络的输出，是后一个网络的输入 
  

框的形状与大小占比

 
模型框的形状与物体的形状越接近越好 

模型框的大小转化为模型框占图像的比例
- 一个思路是图像不变，调整模型框的占比
- 一个是模型框大小不变，对图像的大小进行resize
  - 如果一个图像收缩，那么框不变的情况下，可以对大物体分类
  - 如果图像不收缩，框不变的情况下，可以对小物体分类
    

模型输入图像大小与切图大小的转换

 
模型输入规定 24*24
    
实际切出的人脸为11*13，其中一种做法如下：
- 以11*13图像的中心点为中心
- 11两边各扩展1，形成13*13像素的图片，中心点不变
- 再resize为24*24的图像
- 如此，图像不会变形，同比扩大

模型输入图片大小固定且统一，故事物图像从原图上取下来后要resize

 
第一次：图片派生
----------------------------------------------------
将图像按比例缩小，在这个过程中取一系列图片
原来有N张图片，假如一个图片缩小10次，最后得到10N张图片
通常下一次是这一次的70%，直到图像缩小到特定的尺寸；
如果不怕速度慢，以速度换精度，收缩比例可以一次90% 

因为大图在缩小过程中，小物体消失了，所以 由缩小得到的小图 只能检测出有没有大物体

滑动取框

 
第二次：窗口切图 
---------------------------------------------------
窗口设计：
正方形，横/竖长方形，三个，每个设计多个尺寸，得到一系列窗口
当然了，也可以只用方框 ,这取决于要判断的事物的形状

切图：
使用设计的窗口得到一系列图片，划动切图，得到一系列图片

在原图上使用窗口划动，只要窗口设计合适，每次步长不大，必定能圈住小物体

经过这两次操作，大物体转移到小图片了，
小物体存在于一堆由窗口划动切割的小图片中，

所以最终不管是大物体还是小物体，
都存在于最后得到的一堆小图片中了

如果等差数列的方式切框的问题 
- 优点是框的数量少
- 问题是会出现框切不到完整物体的情况

卷积切框
- 优点是可以切中物体
- 缺点是切一个框移动一点点，最后出现大量的无用的框

切框的本质 
- 将连续的无限的信息转化为离散的有限的信息，
- 这是模拟信号转化为数字信息的基本方法，就是短时傅立叶变换的思想

 
切图得到一张张固定大小的图片，开始学习，学习的内容主要有
- 是不是人脸
- offset是多少
  - 一个人脸图片，由于切图原因的不完整(提前是拍摄角度是正脸且无遮挡...)
  - 不管什么原因，通过offset来衡量这张人脸的完整度 
  - offset越小，那么该人脸图像就越接近原图像，它就越完整
    

 
核心思想
-------------------------------- 
会切出很多的图，宁可错选1000,绝不遗漏1个;逐窗切图，暴力计算... 

MTCNN切图的框只有一种，所以切出来的图的大小，也只有一种12*12，
MTCNN没有设计矩形的框，即那些长条形的框，
因为MTCNN是针对人脸，人脸大部分是正方形，
这是由具体的任务-人脸识别决定的 

如果检测的物体不只一种，形状各异，那就得正方形，横竖矩形都有，
甚至你检测的物体是个类三角形，你就得设计一个三角形的框

虽然都叫MTCNN，但不同的业务调整过的MTCNN设计的细节是不一样的：
框的形状
速度与性能的平衡
    

一张图片上有大量的背景，按前面的切图法，会切出大图的背景图片

 
Stage1 P-Net: 切图+粗选 

输入：12×12×3，实际可以输入任意大小的图片，因为P-Net没有要求输出的shape

第1层：3×3卷积+maxpool提取特征
第2层：3×3卷积
第3层：3×3卷积

图片分类：是否人脸
偏差计算：如果是人脸，则计算标签人脸的框 与 模型输入的切割后的小图片，在原图上位置的 偏移率

 
现在深度学习网络层数较多，三层卷积就能提特征的情况还是比较少
关键是效果要好才行 
    

 
输入：12*12的图像，大部分都不是人脸
输出：
- 是否人脸及偏移量
- 在是人脸的情况下，再加一个偏移量 
  - 一个12*12的图像是人脸，但可能不是100%与原人脸的图像重合
  - 需要在原图像上，上下左右移动一下，这就是偏移量
  - 如果完全重合，那么偏移量为0 
  - 输出的人脸图片+偏移处理，这样得到的图片，
  - 就去除了大部分非人脸图片，同样向着完全的人脸靠近了一些 
- 框+偏移量之后，得到的框就不再是正方形了，所以后面RNet处理时，重新resize 

 
import torch
from torch import nn


class PNet(nn.Module):
    def __init__(self):
        super(PNet, self).__init__()
        self.pre_layer = nn.Sequential(
            # 第1层卷积
            nn.Conv2d(in_channels=3,
                        out_channels=10,
                        kernel_size=3,
                        stride=1,
                        padding=0),
            nn.BatchNorm2d(num_features=10),
            nn.PReLU(num_parameters=10, init=0.25),

            # 最大池化
            nn.MaxPool2d(kernel_size=2, stride=2),

            # 第2层卷积
            nn.Conv2d(in_channels=10,
                        out_channels=16,
                        kernel_size=3,
                        stride=1,
                        padding=0),
            nn.BatchNorm2d(num_features=16),
            nn.PReLU(num_parameters=16, init=0.25),

            # 第3层卷积
            nn.Conv2d(in_channels=16,
                        out_channels=32,
                        kernel_size=3,
                        stride=1,
                        padding=0),
            nn.BatchNorm2d(num_features=32),
            nn.PReLU(num_parameters=32, init=0.25)
        )

        # 输出人脸的概率 bce
        self.conv4_1 = nn.Conv2d(in_channels=32,
                                    out_channels=1,
                                    kernel_size=1,
                                    stride=1,
                                    padding=0)

        # 输出人脸的定位框的偏移量（误差）
        self.conv4_2 = nn.Conv2d(in_channels=32,
                                    out_channels=4,
                                    kernel_size=1,
                                    stride=1,
                                    padding=0)

    def forward(self, x):
        x = self.pre_layer(x)
        cls = torch.sigmoid(self.conv4_1(x))
        offset = self.conv4_2(x)
        return cls, offset
    

 
输出有二：一个分类，一个回归，回归是一个数

face classification :2分类，1*1*2 ，使用sigmoid映射到[0,1]
bounding box offset regression :1*1*4,一个框4个顶点，4个回归值   

核心代码

 
# 输出人脸的概率 bce
self.conv4_1 = nn.Conv2d(in_channels=32,
                            out_channels=1,
                            kernel_size=1,
                            stride=1,
                            padding=0)

# 输出人脸的定位框的偏移量（误差）
self.conv4_2 = nn.Conv2d(in_channels=32,
                            out_channels=4,
                            kernel_size=1,
                            stride=1,
                            padding=0)

凭什么conv4_1就是概率，conv4_2是偏移率 ？

 
它们最初是随机初始化的，一开始的时候的确什么也不是 
- 计算之始，它们确定了一个输出的形式
- 概率输出一个数值 
- 偏移率是框四个点的偏移率，所以输出4个值 

它们将来会具有什么样的业务含义，完全是由损失函数设计决定的
- 使用损失函数衡量它们与标签之间的差异 
- 梯度下降法不断修改模型参数，使模型的输出不断向标签靠近 
- 如此，模型的输出才慢慢具有了业务含义 ,才是概率，才是偏移率...

 
kernel_size=1,
stride=1,
padding=0
每次计算一个元素，然后计算下一个元素，这就是全连接的功能 

但如果换成全连接，在API上就必须填写输入的维度，
卷积就不需要填写这个，只填写通道数就可以了，
这意味着最后一层的特征图的维度可以是随意的，
即意味着输出的图形的形状也不固定，是随意的

更具体地说，是可以随着输入的不同而变化的，
而不是像最后一层加全连接的网络那样，输出的格式是固定的

 
一系列卷积操作后

图片分类：是否人脸
偏差计算：
如果是人脸，则计算标签人脸的框 与 模型输入的切割后的小图片，在原图上位置的 偏移率

五点定位：
眼睛，鼻子，两个嘴角，在定位的过程中，也会消除一系列R-Net产生的错误框
计算五点相对模型框左上角的偏移率

 
对于一个人脸识别任务，只需要判定是否为人脸就可以了
但该算法有更高的追求，还要判断出眼睛鼻子，
虽然任务本身没要求，但却在这一过程中提高了人脸识别的精度

这也为精度的提高提供了一条思路
- 当某个层面上事情无法精进时，可以去比它更高的一层上探索
- 好像...很多事就是如此，这也算理论转算法的一个实践了... 

 
Stage1 R-Net处理过的图片先按其最长边长 resize为正方形，再resize为48*48*3的图片