引用本文
陈景洲, 林继煌, 张宁, 谢兰迟, 黎智辉, 李志刚. 大姿态人像转正技术在视频人像比对中的应用[J].刑事技术, 2018,43(6):497-500
CHEN Jingzhou, Lin Jihuang, ZHANG Ning, XIE Lanchi, LI Zhihui, LI Zhigang. Large Pose 3D Obverse Facial Image Reconstructed from a Slanting-downside Face’s Photo in Video[J]. Forensic Science and Technology,2018,43(6): 497-500  
Doi: 10.16467/j.1008-3650.2018.06.016
Permissions
Copyright©2018, 《刑事技术》编辑部
《刑事技术》编辑部
大姿态人像转正技术在视频人像比对中的应用
陈景洲1, 林继煌1, 张宁1,2,*, 谢兰迟2, 黎智辉2, 李志刚2
1. 江西省兴国县公安局,江西 兴国 342400
2. 公安部物证鉴定中心,北京100038
* 通讯作者：张宁（1988—）,男,江西永丰人,博士,副研究员,研究方向为影像检验。E-mail: zhangning@cifs.gov.cn

第一作者简介：陈景洲（1988—）,男,江西兴国人,学士,工程师,研究方向为视频侦查。E-mail: 2122389963@qq.com

基金资助: 江西省经济犯罪侦查与防控技术协同创新中心开放课题（No. JXJZXTCX-020）; 中央级公益性科研院所基本科研业务费专项资金项目（No.2018JB031）; 国家自然科学基金青年科学基金项目（No.61505034）
摘要

目的 通过对视频中人脸图像进行姿态转正,使其符合人像比对的条件。方法 针对一起实际案件,运用基于形变模型的三维人像重建技术进行大姿态单张二维正面人像重建,通过抠图、关键点调整、边缘调整等步骤,将一张半侧面图像重建恢复出正面图像。结果 将重建后的正面人像输入人像比对系统,成功比中犯罪嫌疑人。结论 大姿态人像转正技术可以有效解决非正面人像检索比对难的问题,提高人像比对准确率和排查效率,增强视频人像线索运用效能。

关键词: 三维人像重建; 姿态转正; 视频侦查; 视频人像比对
中图分类号:DF793.2 文献标志码:B 文章编号:1008-3650(2018)06-0497-04
Large Pose 3D Obverse Facial Image Reconstructed from a Slanting-downside Face’s Photo in Video
CHEN Jingzhou1, Lin Jihuang1, ZHANG Ning1,2,*, XIE Lanchi2, LI Zhihui2, LI Zhigang2
1. Xingguo Public Security Bureau, Ganzhou 342400, Jiangxi, China
2. Institute of Forensic Science, Ministry of Public Security, Beijing 100038, China
Abstract

Objective Face recognition technology has been becoming even more widely used into case investigations, but face images captured in surveillance video are often non-frontal due to such factors as shot-person’s pose and video camera’s shooting angle, resulting in inaccurate or poor recognition by face retrieval system. Here the large pose three-dimensional (3D) face reconstruction technology is utilized to adjust the posture of one face image that was captured from video so that the conditions are met for face matching.Methods Toward to solving a real case, the 3D face-image reconstruction approach based on morphable model was used to perform a large-pose single-image face restoration. A non-frontal face image was to recover its frontal figure through manipulations such as face-extracting, key-point alignment and edge adjustment, with the result of each processing step being verified.Results Compared to the original non-frontal face image unable to identify the suspect, the reconstructed frontal face image has successfully made the suspect recognized.Conclusions The large pose 3D face reconstruction can effectively solve the recognition problem of non-frontal face image, improve the accuracy and efficiency of video investigation, therefore capable of enhancing the effectiveness into use of face images from surveillance video.

Key words: 3D face reconstruction; face pose adjustment; video investigation; video face retrieval

在当前侦查破案工作中, 监控视频已经成为继现场勘查信息、手机信息之后的第三大信息来源, 也是继刑事科学技术、行动技术、网络侦查技术之后的第四大侦查技术领域[1]。视频中人脸图像作为最直观的线索, 在各类案件中发挥着非常重要的作用。犯罪嫌疑人的人脸图像, 相比其它生物特征如指纹、DNA、足迹、虹膜等更为直观, 更容易让普通人辨别, 被广泛应用于嫌疑人识别、排查、身份辨认等过程, 逐渐成为案件侦查诉讼中最常见的线索和证据, 为追逃、破案、寻人等应用提供了强大技术支撑[2-4]。

随着人脸识别技术的不断进步, 公安实际工作中已经开始广泛应用人像自动识别比对系统, 将视频截图或特定人员人像照片在海量数据库中快速查找、检索、比对以确认其身份。例如, 缉拿在逃罪犯时, 可通过人脸识别比对系统, 加快确认嫌疑人身份, 避免“ 人海战术” 的低效率; 对群众或其它部门提供的照片进行比对、检索、筛选, 帮助寻人寻亲; 对于一些无名尸体的照片入库进行比对, 确认其身份等。但是, 在实战应用过程中, 由于监控设备经常安装于高点, 所拍摄到的人像往往是俯视姿态而非正面姿态, 同时还存在人像本身的偏转, 在直接利用人像比对系统进行检索比对时, 识别效果往往较差, 比对准确率不高, 依然需要进行大量人工干预和排查, 大大降低了侦查效率。人像姿态转正技术是最近几年新发展起来的一种技术, 可以通过单张非正面人脸图像恢复出该人像三维模型下正脸的模拟图像, 从而提高导入人像比对系统的比对准确率, 将原先不可检索运用的人像落地运用。实际案件中常常遇到需要对偏转角度大于15° 的大姿态人像进行比对, 本文报道一则应用大姿态人像转正技术侦破的成功案例。

1 案件简介

2017年1月以来, 某县城区贸易广场、凤凰大道某小区等区域陆续发生多起盗窃五羊本田等高档摩托车案件, 涉案金额27万余元, 且案发地在人流密集区域, 社会影响较大。犯罪分子白天连续作案, 气焰嚣张, 严重影响人民群众安全感和满意度。

2 材料和方法
2.1 检材

案件发生后, 办案民警第一时间赶赴现场采集涉案视频。经认真查看分析视频, 捕捉到嫌疑男子的人像信息。该嫌疑男子人脸图像较清晰, 但视频拍摄角度较高、人像姿态存在倾斜, 如图1所示。

图1 嫌疑男子人像
（左：视频截图; 右：放大后人像截图）Fig.1 The image of the suspect
(Left: the screenshot video frame of the suspect; Right: the enlarged face image of the suspect)

将该嫌疑男子图像截取后直接导入某省视频图像综合应用平台人像比对系统进行检索, 检索出的结果相似度均不高, 且相似度从高到低排名前二十位的目标经核查均排除嫌疑。

2.2 方法

2.2.1 抠图

将人像（包含脖子）从图中提取出来, 其余部分背景置为黑色, 如图2所示。抠图步骤的作用在于去除非人像部分（背景）对三维人像重建的影响。

图2 抠图操作
（左：原始图像; 右：抠图后结果）Fig.2 Face extraction
(Left: original face image; Right: the resulted image after face extracting)

2.2.2 关键点调整

调整右侧画面中三维人像模型（该模型由采集得到的一定规模三维人像数据统计建模而成）的姿态与左侧视频人像截图姿态一致, 右侧画面中只保留人像模型中所显示的关键点, 把左侧人像中的关键点移动到人像对应的位置, 保存铺点, 如图3所示。这一步骤的目的是手动标记关键点位置, 定位姿态并优化主成分分析（principal componentsanalysis, PCA）系数, 最后基于3D人像模型进行拟合并转正。

图3 关键点调整
（左：关键点标记图像; 右：三维人像模型）Fig.3 Key-point alignment
(Left: the resulted image of key-point alignment; Right: 3D face-image model)

2.2.3 边缘调整

在关键点标记图像中, 调整边缘上下阈值参数, 获取人像边缘, 得到的边缘结果尽可能地保留住人像的轮廓, 如图4所示。这一步骤的目的在于控制脸型和优化PCA系数, 对重建结果进行约束, 防止人像重建失败。

图4 边缘调整
（左：关键点标记图像; 右：边缘调整后结果）Fig.4 Edge adjustment
(Left: the resulted image after key-point alignment; Right: the resulted image after edge adjustment)

2.2.4 姿态转正

基于3D人像模型以及标准人像关键点位置信息, 可以计算和拟合出人像关键点对应的正面姿态时的位置, 从而模拟出该人像三维旋转至正面时的图像。进行了抠图、关键点调整和边缘调整这三步预处理后, 进行姿态转正处理也即正面人像重建, 重建结果如图5所示。从图中可以看到, 单张二维半侧面人脸图像被旋转成为一张完全正面的人脸图像。

图5 转正结果
（左：抠图后图像; 右：姿态转正后结果）Fig.5 The result after pose adjustment
(Left: the result after face extracting; Right: the resulted face after pose turning to the obverse)

3 结果

采用大姿态人像转正技术处理后, 导入某省视频图像综合应用平台再次进行检索比对, 比中一名相似度较高的前科人员曾某（排名第2, 相似度88.37%）。后经信息研判, 确定嫌疑人为曾某。办案民警立即对嫌疑人的行踪及其关系人开展深度研判和外围调查, 同时实施抓捕。办案民警在某县县城先后抓获曾某及其同伙谢某、王某等人, 破获这起跨三省的系列盗窃高档摩托车案件。大姿态人像转正技术为锁定该系列案嫌疑人发挥了关键技术支撑作用。

4 讨论

在过去几年里, 人像识别的研究和应用都取得了巨大进步, 特别是在公安领域的应用越来越深入。面向真实场景非配合、非受控环境下的人像识别成为了研究的热点和难点。特别是受监控设备安装位置、人像偏转等因素影响, 获得的人脸图像经常存在姿态变化的干扰, 非正面姿态会造成面部信息的部分缺失, 对系统的识别检索造成了不利影响, 极大制约了人脸图像线索的应用, 也一直是人像识别的一个技术难题。

基于三维人像重建的人像姿态转正技术可以解决多场景视频下人像姿态偏转、信息缺失等问题, 实现多角度人像姿态转正、人像校正和人像修复合成功能。在三维模型的帮助下, 可以使待识别图像和库中图像处于同一姿态。采用多姿态人像检测与比对相关技术, 通过人像关键点定位和三维人像拟合, 对人像进行三维重建, 估算偏转角度, 最终恢复出该人像三维模型下正脸的模拟图像, 从而有效提升了人像识别性能。基于姿态转正技术, 还可以进一步实现变形人像的校正、污损人像修复重建功能。虽然有研究者尝试通过3D人像校正等关键技术提高人像识别的准确率, 但是目前这些研究大多仍然基于实验数据库进行测试, 并未与实战使用的人像识别系统关联对接, 适用场景较为单一和固定, 方法的综合性、集成性、实用性还不够强, 尚未在公安实战中应用[5]。而本文所使用的是基于三维形变模型（3D morphable model, 3DMM）的三维人像重建方法, 三维形变模型是从单张图像中恢复三维人像的有效工具[6, 7]。本文通过实战案例证明了该方法的实用性和可行性。

除了本案例, 我们还选取了3例实际视频监控场景下的非正面图像开展实验研究, 对已知身份人员的非正面图像进行姿态转正处理, 比较处理前后比对结果的提升情况, 结果如表1所示。从表中我们可以看到, 经过大姿态人像转正处理后再输入人像比对系统, 并在同一人像库中进行检索, 其相似度和排名相比直接导入系统检索均得到了不同程度提升。当然, 对于分辨率较低或五官模糊的图像, 其三维重建后的正面图像也难以实现较好的比对结果。

表1 非正面图像转正处理效果比较 Table 1 The comparison of face retrieval results before and after large pose 3D face reconstruction

本文所介绍的方法, 可以更好地发挥人像检索比对系统的效能, 省去了以往大量人工干预和排查的过程, 大大提升视频人像线索利用率, 提高了工作效率, 节约了办案资源, 真正提升了视频侦查工作水平。同时, 这一方法紧密结合实战使用的人像比对系统, 转变了以往将原始视频截图直接入库比对的“ 粗放型” 工作模式, 进一步提高了人像检索的效率和准确率, 这种新的工作模式更符合实战一线需求。

The authors have declared that no competing interests exist.

作者已声明无竞争性利益关系。The authors have declared that no competing interests exist.

参考文献
[1] 徐定安, 谢贤能, 马继雄, 等. “从像到人”的侦查新模式——视频监控的实战应用[M]//郝宏奎. 侦查论坛: 第六卷. 北京: 中国人民公安大学出版社, 2007: 140. [本文引用:1]
[2] 肖军. 人像识别技术在追逃工作中的应用现状与展望[J]. 刑事技术, 2016, 41(2): 137-141. [本文引用:1]
[3] 陈世革. 公共安全视频监控系统在侦查中的应用与完善[J]. 犯罪研究, 2009(3): 32-36. [本文引用:1]
[4] 邵义初, 肖亚麟. 对我国视频侦查发展趋势和作战模式的探讨[J]. 武汉公安干部学院学报, 2014, 28(1): 38-40. [本文引用:1]
[5] 胡雷地, 庄唯, 林晨曦. 面向警务实战的人像识别关键技术研究[J]. 警察技术, 2016(6): 50-53. [本文引用:1]
[6] BLANZ V. A morphable model for the synthesis of 3D faces[C]// Conference on Computer Graphics and Interactive Techniques. ACM Press/Addison-Wesley Publishing Co, 1999: 187-194. [本文引用:1]
[7] 马明洋. 基于形变模型的三维人像重建算法研究[D]. 北京: 中国科学院自动化研究所, 2016. [本文引用:1]