将矩形作为人脸检测的特征向量，称为矩形特征。本算法选取了最简单的5个矩形特征模板进行训练，以得到一套用于人脸检测的最适合的矩形特征，事实证明，这种特征选取方法的训练速度虽然不快，但是检测效率很高。Viola 提出将积分图(integral image)应用到特征值的计算之中。积分图的引用，可以只对图像进行一次遍历计算，就能够在用常量时间完成每个特征值的计算，这使得训练和检测的速度大大提升。
4.2 haar矩形特征 4.2.1 概述
人脸部的具体特征对人脸检测是有重要意义的。我们可以发现人脸的某些区域比其他区域在图像上呈现的色彩更深。例如，通常，眼睛要比脸颊颜色更深；鼻梁两侧要比鼻梁颜色要深；嘴巴要比周围颜色更深。因此，我们可以选用不同数量的明暗区域组合，来检测人脸的具体特征。如图4.1所示，我们用如图的矩形组合去检测人脸。
图4.1 矩形特征在人脸上的特征匹配
4.2.2 特征模板与模板特征值
我们将使用简单的矩形组合为我们的特征模板。这类特征模板由两个或者是多个完全一样的矩形相邻组合而成，特征模板内有白色和黑色两种矩形（定义左上角的为白色，然后依次交错）。特征模板如表4.1所示。
名称（模板号） 特征模板
边缘特征 （1）（2）
线性特征 （3）（4）
对角线特征 （5）
表4.1 haar特征模板
其中两个矩形的特征的取值是白色矩形中的像素值之和与黑色框像素值之和的差，3个矩形框的特征的定义为两个白色矩形中的像素值之和与一个黑色矩形中的像素值之和的差，4个矩形框的特征定义为两个白色矩形框像素值之和与两个黑色矩形框像素值之和的差。该特征的个数十分庞大，例如对于一个大小为24?24的检测器模板，相应矩形框的个数有160000多个，必须通过特定算法甄选合适的矩形特征，并将其组合成强分类器才能检测人脸。
4.2.3 haar特征的扩展
为了增强haar特征的表示能力，在参考了有关文献后[13]，我们提出了扩展的haar特征。
扩展的haar特征集合可以提高特征对于人脸模式和非人脸模式的区分能力。假定人脸的模板大小为W?H，任意垂直或者45?倾斜的矩形框可以定义为r?(x,y,w,h,?)，其中0?x;x?w?W;0?y,y?h?H;w,h?0;??{0?,45?}。图4.2给出了两个矩形的例子。
W 分类窗口 w h h h w w H
图4.2 竖直和45倾斜的矩形的例子
?
假设矩形r内所有像素之和为RecSum(r)，扩展的haar特征定义为所有的矩形框的像素之和的组合，即：
feature1?i?I?{1,?,N}?wiRecSum(ri) （4.1）
其中wi?R，矩形框ri和N可以任意选取。式（4.1）表示的特征集合极大，为了便于实际应用，可进行下述简化：每次只考虑两个矩形框，即N=2,；两个矩形框的权值的符号相反，且绝对值与各自的矩形面积成反比，即
?w0?Area(r0)?w1?Area(r1)。不失一般性，假设w0=1于是w1?Area(r0)/Area(r1)；这些特征模仿了haar特征和其他的视觉响应，如中心-周围响应和对角响应。如此可得到如图4.3所示的扩展haar特征，共包括下面3种形式：4个边缘特征，8个线性特征，2个中心-周围特征。加上特殊的对角线特征，共得到15个特征模板。
1、边缘特征2、线状特征3、中心-周围特征4、对角线特征
图4.3 扩展的haar特征集合
这些特征模板可以在水平和垂直两个方向上任意缩放，在目标模板窗口里任意平移，从而得到一个完备的特征集合。
4.3 积分图Integral Images
通过将原图像转化为积分图的方法我们可以用很快的速度计算出系统的特征，在这一章节，我们将介绍在图像处理领域非常著名的积分图，和使用积分图来计算特征值的方法。
4.3.1 积分图的概念
b我们可以微积分与积分图做一个简单的类比：对于定积分?f(x)dx，我们一
a般会先计算不定积分F(x)??f(x)dx的多项式表达形式，再计算
b?f(x)dx?F(a)?F(b)。
a用图像表示如图4.4，积分图的原理与定积分的计算类似，而引入积分图的目的在于从图像繁杂的像素级运算处理中摆脱出来，在积分图的形式下处理图像。积分图能够在多种尺度下，使用相同的时间来计算不同的特征，因此大大提高了检测速度。
y a b
x
图4.4 “积分图”与积分的类比
对于图像内一点A(x,y)，定义其积分图为II(x,y)为
II(x,y)?x??x,y??y?i(x?,y?) （4.2）
其中i(x?,y?)是A(x,y)处的原始图像，代表该点的颜色值，对于灰度图像，其值为0~255，对于彩色图像，可以先按照人脸彩色空间将其转化为灰度取值。如图4.5，我们以20?20的灰度图形举例来说明积分图的计算方法。其中A(x, y)的积