根据人脸图像快速预估年龄
申小虎1, 金恬2, 张长珍1, 万荣春1
1. 江苏警官学院刑事科学技术系,南京210031
2. 江苏省公安厅物证鉴定中心,南京210031

第一作者简介:申小虎,男,江苏南京人,硕士,实验师,研究方向为人工智能与公安视听技术。E-mail: shenxiaohu@jspi.cn

摘要

目的 为了提高人员信息库的结构化效率、实现对监控视频中重点嫌疑人群的监控预警需求,研究根据人脸图像快速预估年龄的方法。方法 基于LBP局部纹理提取与Gabor滤波器的设计原理,借助matlab的COD视觉系统工具箱、VLFeat图像处理函数库与支持向量机SVM分类器对年龄预估方法进行仿真实验。结果 仿真年龄预估方法与人工目测相比,提升了人脸图像年龄预测的速度和成功率。结论 所建立的基于人脸图像的年龄自动预估方法简单可靠,推广性高,对户籍人口信息库、重点人员库等平台信息的结构化等都能起到良好的辅助作用。

关键词: 人脸图像; 年龄快速预估; LBP纹理特征; Gabor滤波
中图分类号:DF793.2 文献标志码:A 文章编号:1008-3650(2019)02-0095-05
Quick Age Estimation from Facial Images
SHEN Xiaohu1, JIN Tian2, ZHANG Changzhen1, WAN Rongchun1
1. Department of Forensic Science and Technology, Jiangsu Police Institute, Nanjing, 210031, China
2. Evidence Identification Center, Jiangsu Provincial Public Security Bureau, Nanjing, 210031, China
Abstract

Objective To explore a fast method of facial age estimation for improving the structurizing efficiency of personnel information database, and fulfilling the requirements to monitor and warn against the suspected key crowd in surveillance video.Methods Based on the rationale of LBP local texture extraction and Gabor filter, an approach has been experimented and simulated on age estimation by facial images with the assistance of Matlab’s COD visual system, VLFeat image processing toolbox function library and SVM (supportive vector machine) classifier.Results Compared to the manual visual measurement, the facial age prediction by simulation improves the speed and success rate for face image recognition.Conclusion The here-established method of facial age estimation is relatively simple and reliable, capable of being popularized and playing a good supporting role in structurizing both the bank of National Household Population Information and the one of key personnel information.

Key words: facial image; fast age estimation; LBP local texture; Gabor filter

如何快速有效地从人脸图像中获取年龄、性别、情绪等基础信息情报日益受到公安部门的重视。图片、音视频等数字媒介中隐藏的当事人信息可作为当前侦查破案的直接依据, 关乎破案的方向和效率, 故被当作整个侦查、鉴定的基础工作之一。其中, 人脸图像年龄的快速预估对于提高人像对比鉴定成功率, 提升公安基础平台建设中的人员信息库结构化水平、实现对监控视频中嫌疑重点人群的监控预警等均可起到助推作用。

近些年来, 面部识别与分析一直是人工智能机器视觉领域的重要组成部分, 其中针对年龄的自动预估是近期研究的热点。人脸图像的年龄估算问题可以认为是分类模式也可以看作是回归模式[1, 2, 3]。从模型算法上年龄估算方法主要分为两类:AAM模型算法与非AAM模型算法[4, 5] 。AAM是在ASM的基础上, 进一步对纹理进行统计建模, 并将形状和纹理两个统计模型进一步融合建立的模型。而利用非AAM模型算法对年龄估算的许多方法中, 使用一种单层LBP算子从人脸图像的特定皮肤区域提取年龄特征向量, 也取得了不错的认知效果[6]。此方法效率高但精度取决于选取的皮肤区域位置。针对这种不足, 文献[7]提出了使用SVM向量机结合多层LBP与Gabor滤波处理而达到提高预测精度的预估方法。与AAM模型算法相比, 非AAM模型虽降低了算法复杂度, 但仍很好地维持了年龄预估精度, 因此实用性较高。

本文根据上述研究方向在强调预估方法的鲁棒性与运算速度的大前提下, 选用非AAM模型算法, 利用Gabor滤波与单层LBP相结合的方法, 针对静态人脸图像的年龄特征进行自动识别预估, 并在matlab工具进行仿真实现。Gabor滤波用来进行图像平滑与区域纹理特征的边缘检测, 而单层LBP算子主要用来针对包含年龄信息的最具代表性的皮肤区域的纹理特征提取。最后选择使用支持向量机(SVM)的最小距离分类器进行年龄预估。同时使用具有不同年龄段的FG-NET、MORPH、YGA三个人脸数据集分别对分类器进行训练模拟。

1 基本原理与知识
1.1 Gabor滤波器

Gabor滤波器是带通滤波器, 其单位冲激响应函数是高斯函数与复指数函的乘积。Gabor滤波器十分适合于纹理表达和边缘分割。Gabor线性滤波器在边缘检测中常被使用, 其频率和相位近似于人类视觉系统。在空间域中, 一个二维Gabor滤波器是一个由正弦平面波调制的高斯核函数。

其中$\sigma_{x}$$\sigma_{y}$分别是x轴和y轴方向的标准方差, W为角频率。为提升滤波卷积的效率, 可将待检测区域分割成比如4× 4, 8× 8等多个区域, 分别作为滤波器输入进行平滑处理与边缘检测[8]

1.2 LBP局部纹理提取算子

LBP局部纹理提取算子在图像纹理描述、纹理分类、纹理分割和面部识别上均具有广泛的应用, 具有计算简单但识别效率高的特点。LBP局部纹理提取算子, 已经成功应用在指纹识别、字符识别、人脸识别、车牌识别等领域。实际应用中为提升圆形LBP算子的描述特征能力, 还有旋转不变模式LBP算子、等价模式LBP算子等变种。圆形LBP算子的计算方法如公式(2)所示[9, 10]

其中P为周围像素点的个数, R为中心像素点到周围像素点的距离, sx的阈值函数。

通过下面的几个步骤得到LBP特征向量:

1)将图像中的待提取特征部位划分为n× n个大小区域单元。

2)对每个单元的像素, 按照半径R的圆, 搜寻并比较其与周围p个像素的灰度值, 如图1所示。

3)周围p个像素点比中间点像素值大(或者相等)的记为1, 小的记为0, 这样就得到二值图, 然后按顺时针方向得到p位二进制串(例如11110001), 再根据公式(2)就可以得到这个单元中心像素的LBP值。

4)统计待检测区域上每个单元像素的LBP值得到LBP直方图, 即每个LBP值出现的频率。然后对该直方图进行归一化处理。

5)最后将得到的每个单元的统计直方图连接成为一个特征向量, 也就是整幅图的LBP纹理特征向量。LBP特征直方图也可应用于判断两幅图片的相似性问题。

图1 不同PR值下的领域像素LBP算子Fig.1 LBP operator-controlling pixel domains by different P and R values

2 系统设计与仿真实验

为使系统的鲁棒性较高, 更好地适应不同类型的人脸图片, 在设计上加入了预处理操作, 其中包括对人脸的识别、人眼与鼻子的定位、图像校准等。其中较为复杂的年龄预估设计中则包括年龄特征参数提取过程与特征分类阶段。本文设计使用Gabor滤波器对图像进行卷积得到区域平滑与边缘突出的特征图像; 之后通过LBP特征提取得到年龄特征参数, 再统计得到直方图形式的分类数据; 最后将分类数据输入到已训练好的最小距离分类器中, 得到年龄分类预估结果。设计流程图如图2所示, 首先需要基于图像数据库建立年龄分类器。分类器训练之前, 需要对输入图像进行预处理, 以达到与特征信息提取、相应分类器输入信息规格相匹配。每个流程均分为以下三个阶段完成:预处理阶段、年龄纹理特征提取阶段、分类器模型训练阶段。

图2 年龄预估仿真系统流程图Fig.2 Flowchart of age estimation simulation system

2.1 预处理阶段

预处理阶段的主要工作是对输入的图像通过改变大小与方向进行校准, 为下一步的训练和分类工作做准备。预处理阶段也分为三个主要步骤:面部检测与归一化处理、眼鼻检出、图像校准。

2.1.1 面部检测与归一化

如待检测的图像中存在面部, 系统首先要检测面部位置并对非面部区域进行弱化。Matlab实现中主要使用了其COD (Cascade Object Detector)视觉系统工具箱, 输出为覆盖面部特征的矩形区域。检出后为增强图像对比度, 需要进一步对其直方图进行归一化。

2.1.2 眼鼻检出

在进行完面部检测与归一化处理后, 旋转图片以使面部方向与垂直方向平行。但旋转处理之前首先需要完成眼部检测, 如果眼鼻检出精度不高会影响旋转效果, 进而得到错误的五官识别位置, 如图3(a)所示。文献[11, 12]中使用了一种增强式图形结构模型以达到眼鼻部位定位的效果。在此基础上, 本文设计使用Matlab自带的COD工具箱中的vision.CascadeObjectDetector(…)函数而获得人脸图像的五官信息, 计算得到眼鼻的具体位置。如图3(b)所示。

图3 根据眼鼻定位人脸旋转的效果图(a:眼鼻检测错误旋转效果; b:眼鼻检测正确旋转效果)Fig.3 The effect of eye and nose localization on facial image rotation (a. imprecise localization; b. precise localization)

2.1.3 图像校准

一旦取得了两只眼睛的具体位置, 即可旋转图像使待检测图像中的面部处于水平位置。假定两只眼睛的位置为(x1, y1)、(x2, y2)。那么旋转角度即为:

为提高分类器训练速度, 本文将所有待训练与测试图片的像素大小校准为140(宽)× 180(长)像素, 对图像旋转后仍不满足上述像素条件的输入图像则设计使用双线性插值以调整图像大小。校准后的眼睛和鼻部位置可以通过下面的公式(4)得到:

2.2 年龄纹理特征提取

纹理特征提取的首要问题是如何选择合适的面部待检测区域, 并对每个区域块进行Gabor滤波变换, 再进行LBP特征提取, 最后输入分类器模型。

2.2.1 纹理特征检出区域

随着年龄的增加, 面部年龄特征区域图像中会出现更多的皱纹, 皮肤更加粗糙无质感。随年龄增长而老化明显的部位为眼部下方与鼻尖的上方[13, 14, 15]。此纹理特征区域的检测方法如下:

1)假定在2.1.2中得到的眼部像素位置为(x1, y1)、(x2, y2), 鼻尖的位置为(xn, yn);

2)如图4所示, 将检测出的面部区域分为8× 8的区域块, 则可计算得到左眼对应的区域块为[xc1, yc1], 右眼所对应的区域块为[xc2, yc2], 鼻尖对应的区域块为[xcn, ycn]。其中xc1, yc1; xc2, yc2; xcn, ycn为块索引。例如图5(b)中左眼对应的区域块为[3, 3], 右眼对应的区域块为[5, 3], 鼻尖对应的区域块为[4, 5]。

3)进一步计算即可得到需提取特征的区域块:

图4 面部区域块示意图Fig.4 Schematic diagram of facial zone block

图5显示了我们所提取的面部图像中的纹理特征区域块。例如图5(b)中纹理特征区域块为[1︰4, 3︰5], [4︰7, 3︰5], [4, 3︰5]。

图5 提取年龄预估纹理特征的人脸皮肤部位(a:FG-NET训练数据集图像; b:待测试例图像)Fig.5 Facial region where to extract skin texture for age estimation (a: one image from FG-NET-trained database; b: the image ready to test)

2.2.2 实现Gabor滤波

通过对实际图像的测试发现, 单纯LBP算子对姿态与光照变化影响下的静态人脸图像存在预测精度偏低, 位置不准确的测试例, 如图6所示, 其中被红色框标示的眼部、鼻子预测位置具有明显偏差。由于Gabor小波可容忍一定程度的图像旋转与变形, 并且对光照不敏感。因此本文通过调用Matlab的spatial gabor (...)函数设计实现Gabor滤波功能, 参数选择4个尺度, 6个方向, 组成24个Gabor滤波器。Gabor滤波器组与每个待检测区域块进行空域卷积, 每个区域块进而得到不同尺度方向上的24个滤波输出图像。

2.2.3 实现LBP算子特征提取

本文设计使用vlfeat-0.9.20工具箱实现LBP特征向量的计算。其中为降低特征向量的特征空间维数, 对每个区域的LBP特征值进行mean灰度均值统计(直方图区间为10), 再将所有待检测区域块的各尺度方向滤波图像计算得到的灰度均值向量进行串联, 构成最终的人脸年龄预估特征向量, 数据维度为3× 24× 10=720维。测试实验发现60~69岁年龄段的二进制面部LBP特征值(Mean值)远大于0~9岁年龄段的面部LBP特征值。而20~30岁年龄段, 30~40岁年龄段的LBP特征(Mean值)相差不明显, 如图7所示。

图6 检出错误示例图(a:姿态变化人像图片测试例; b:光照不均匀人像图片测试例)Fig.6 Exampled erroneous detection to cause errors by a: the changed posture and b: uneven illumination

图7 年龄预估的测试例与特征直方图Fig.7 Test cases of age estimation and the histograms of their features

2.3 分类器模型训练

本文设计使用Matlab的svmtrain函数进行分类训练, 同时使用svm classify函数进行测试分类。其中SVM分类器选用的核函数为高斯核(RBF核), 使用交叉验证得到惩罚因子c与g的最佳参数, 其余参数选用默认值。

在数据训练阶段, 系统对所有待训练数据集图像提取纹理特征值并对分类器进行训练调参, 训练完成后即可处理待检测的图像。本文从FG-NET、MORPH、YGA三个人脸数据集库中分别选取1000张(900张训练集, 100张为验证集)作为SVM分类器的训练数据集。同时将被选择的数据集人脸图片按照0~9、0~19、20~29……60~69的年龄段将其分成了7组年龄段并人工添加分类标识。

3 实际人像库的年龄预估应用

利用FG-NET、MORPH、YGA三个人脸数据集对分类器进行训练, 本文使用江苏警官学院人脸数据库(16~60岁)中的1054个样本对系统预估精度进行测量。如表1所示, 通过不同的训练数据集生成的分类器模型进行实验发现, 此三类数据集的分类精度不同, 主要是由各人脸数据库的人脸光照姿态采集条件不同、年龄分布差异所造成的。在三种训练数据集下, FG-NET训练得到的分类器模型年龄预估精度较低, 这是由于该年龄数据库的年龄跨度主要集中在0~35岁之间, 38~69岁的人脸图片仅91幅。但三种年龄数据库训练得到分类器模型预估精度与人工平均预估精度(仅35.1%[15])相比, 则无论从预估速度还是精度上都具有较大优势。

表1 不同训练集下年龄预估精度对比 Table 1 Accuracy of age estimation under different training setups
4 结论与展望

本文构建了针对不同拍摄角度与光照条件人脸图像进行快速有效自动年龄识别的方法。该法主要利用LBP局部纹理提取算子、Gabor滤波器的基本原理与设计方法, 并在matlab进行了仿真实验, 达到了预期效果。但本次实验采用的训练年龄数据库主要是以欧美人脸为主的主流数据库且年龄数据库的组成也会对测试结果产生很大的影响。因此构建覆盖不同年龄段、不同光照条件与面部表情的亚洲人脸年龄数据库将是未来的重点工作之一。

由于本文实验中待训练与测试人脸图像均经过了图像校准处理, 设计实验中采用基本LBP圆形算子。不过LBP特征仍存在改进之处, 例如通过计算方差得到区域变化幅度的LBP-V。此LBP变种可将每个点的方差作为编码值的权重, 进行直方图累加。同时本系统采用的LBP算子仅能提取图片低维度特征信息, 且SVM向量机也是面向小样本进行训练的, 提取特征信息界限不明显是导致分类精度低的主要原因。目前以增强学习、生成判别式为主流的深度学习方法能够提取出图片的高维度特征信息并提升分类精度, 但这又需要大数据样本与高运算能力的GPU作为支撑。故深度学习算法下特征数据的准确抽取与良好分类模型建立与选取值得进行深入研究, 以期在大数据、智能化的大背景下服务实战应用, 为人员数据库信息的结构化提供有力的技术保障。

The authors have declared that no competing interests exist.

作者已声明无竞争性利益关系。

参考文献
[1] 王先梅, 梁玲燕, 王志良, . 人脸图像的年龄估计技术研究[J]. 中国图象图形学报, 2012, 17(6): 603-618. [本文引用:1]
[2] SUO J L, ZHU S C, SHAN S G, et al. A compositional and dynamic model for face aging[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2010, 32(3): 385-401. [本文引用:1]
[3] WANG S J, ZHOU C G, ZHANG N, et al. Age estimation by extracting facial features of shape and texture[J]. Journal of Jilin University (Engineering and Technology Edition), 2011, 41(5): 1383-1387. [本文引用:1]
[4] 张淑军, 王高峰, 石峰. 基于AAM提取几何特征的人脸识别算法[J]. 系统仿真学报, 2013, 25(10): 2374-2380. [本文引用:1]
[5] CHOI S E, LEE Y J, LEE S J, et al. A comparative study of local feature extraction for age estimation[C]// in Proceedings of the 11th International Conference on Control, Automation, Robotics and Vision (ICARCV ‘10). Singapore, 2010: 1280-1284. [本文引用:1]
[6] LIU J, KUIPERS B, SAVARESE S. Recognizing human actions by attributes[J]. IEEE Conference on Computer Vision and Pattern Recognition, 2011, 42(7): 3337-3344. [本文引用:1]
[7] CHOI S E, LEE Y J, LEE S J, et al. Age estimation using a hierarchitecal classifier based on global and local face features[J]. Journal of Pattern Recognition, 2011, 44(6): 1262-1281. [本文引用:1]
[8] GAO F, AI H. Face age classification on consumer images with Gabor feature and fuzzy LDA method[M]// Advances in Biometrics. Springer Berlin Heidelberg, 2009: 132-141. [本文引用:1]
[9] WIKIPEDIA . Local binary patterns[EB/OL]. [2017-06-23] http://en.wikipedia.org/wiki/Local_binary_patterns [本文引用:1]
[10] 百度百科. Lbp[EB/OL]. [2017-06-23]. https://baike.baidu.com/item/lbp/6692950?fr=aladdin [本文引用:1]
[11] TAN X, SONG F, ZHOU Z H, et al. Enhanced pictorial structures for precise eye localization under incontrolled conditions[C]// Computer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on. IEEE, 2013: 1621-1628. [本文引用:1]
[12] TAN X, TRIGGS B. Enhanced local texture feature sets for face recognition under difficult lighting conditions[J]. IEEE Transactions on Image Processing, 2010, 19(6): 1635-1651. [本文引用:1]
[13] GUNAY A, NABIYEV V V. Automatic age classification with LBP[C]// International Symposium on Computer and Information Sciences. IEEE, 2008: 1-4. [本文引用:1]
[14] GENG X, ZHOU Z H, SMITHMILES K. Automatic age estimation based on facial aging patterns. [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2007, 29(12): 2234-2240. [本文引用:1]
[15] LANITIS A, TAYLOR C J. Automatic face identification robust to ageing variation[C]// IEEE International Conference on Automatic Face and Gesture Recognition. IEEE Computer Society, 2000: 391. [本文引用:2]