人像比对技术^{[8, 9]}是指利用计算机视觉领域的人脸识别技术, 提取人脸的特征信息进行人像识别和人脸特征比对的技术。人脸作为行为人独一无二的生物特征, 虽然会随着年龄、环境、气候等客观条件产生一定的变化, 但有一些稳定特征是可溯源可解释的, 换句话说, 人像比对技术就是利用人脸的稳定特征来识别人像并进行分析。人像比对技术的优点是直观、操作简单便捷、应用范围广。在各类案事件, 尤其是重特大刑事犯罪案件的侦查过程中, 人像比对技术经常作为案件侦查的突破口, 为开展研判分析工作提供强有力的技术支撑。

图像超分辨率技术^[10]是计算机视觉和图像处理领域非常有前景的研究方向, 通过各种CNN、GAN等网络模型训练数据进行有监督或无监督的训练, 拟合图像退化降质的逆过程, 从而得到高分辨率的图像。广义地讲, 就是输入低分辨率的图像, 利用已有的图像像素点信息去预测未知的像素点信息, 输出高分辨率的图像。优点是大幅度提升图像分辨率, 较好地恢复图像细节, 视觉增强效果显著, 缺点是运算量增加。假设一幅图像的低分辨率状态为I_LR, 对应输出的高分辨率状态为I_HR, 过程如公式（1）所示。

$I_{HR}=F(I_{LR}; \theta)$ (1)

其中, F是模型, θ 为模型的参数表示。以下是本文中使用的两种图像超分辨算法的概述。

1）图像超分辨率算法1。该算法是基于自适应三维几何特征的人脸超分辨技术, 由深度恢复、调制和超分辨率模块组成基础网格结构, 其中, 超分辨率模块借鉴了已有的SRResNet的主要结构, 同时在学习残差加上尺度因子, 降低网络复杂度, 保持原有图像信息, 利用几何特征进行调制。模型包含两个分支, 一是用于图像的超分辨率处理任务, 二是用于恢复人脸的深度图信息。该网络从原始图像自适应学习人脸深度图, 并且通过深度图像的额外监督进行端到端的学习, 提升人脸图像处理后性能, 在公安行业应用较广。

2）图像超分辨率算法2。该算法是以AI多模态视觉超分辨率算法为核心的基于先验信息架构的超分辨率技术。该算法以GAN网络结构为基础, 建立人脸先验模型, 提取人脸面部特征进行图像超分辨处理, 提升人脸图像分辨率和辨识度, 提高人像比对的准确度和精度, 在公安行业实战中应用效果良好。

假设某一张人像与另外两张人像的人像比对相似度指数分别为P和Q, 那Q基于P的相似度指数提升百分比δ 如公式（2）所示。

$\delta = \frac{Q-P}{P}× 100\%$ (2)

已知人像比对相似度指数提升百分比为δ , 那相似度指数改善占比φ 如公式（3）所示。

$\varphi = \frac{count \sum \delta > 0}{count \sum \delta}× 100\%$ (3)

其中, count是样本满足条件的数量统计。

箱形图又称盒图, 能够直观地反映数据的分布情况以及异常值。一般由五个数值点组成, 最大值、上四分位数、中位数、下四分位数和最小值, 上四分位数、中位数和下四分位数组成一个“ 盒子” , 与最大值和最小值之间建立一条延伸线, 称为“ 胡须” , 数据偏移严重的异常值用红色“ +” 表示。另外, 根据本文研究需求, 增加均值点, 用蓝色“ o” 来表示。箱形图如图1所示。其中, 上四分位数代表75%的数据值小于或等于这个值, 下四分位数代表25%的数据值小于或等于这个值。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 箱形图Fig.1 Boxplot

本节分析跨时间样本的人像比对结果分布趋势变化, 将原始图像分别与阶段1图像、阶段2图像进行人像1:1比对, 阶段1图像与原始图像时间跨度较小, 阶段2图像与原始图像时间跨度较大, 人像比对结果分布统计分别如图2和图3所示。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 原始图像与阶段1图像的人像比对结果分布图Fig.2 Distribution of results from comparison between the original photo images and the ones from phase 1's

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 原始图像与阶段2图像的人像比对结果分布图Fig.3 Distribution of results from comparison between the original photo images and the ones from phase 2's

从图2和图3可以看出, 两组低质量图像组的人像比对结果分布差异显著, 原始图像与阶段1图像的人像比对结果90分以上占到80%, 而与阶段2图像的人像比对结果90分以上仅占23.3%, 回溯分析原因是阶段2图像与原始图像相比, 时间跨度较大, 黑白和彩色照片进行比对, 人像差异显著直接导致分数降低; 中质量图像组的人像比对结果整体差异比低质量图像组小, 原始图像与阶段1图像、阶段2图像的人像比对结果比较, 90分以上从83.3%降到52.4%, 70分以下的从4.8%升到16.7%, 人像比对结果整体分布有向低分倾斜的趋势; 高质量图像组的原始图像与阶段1图像、阶段2图像的人像比对结果比较, 90分以上从72.7%升到86.4%, 可见比对图像质量好、人像姿态端正可以提升人像比对结果, 时间跨度对高质量图像影响较小。综上分析, 影响人像比对结果的因素主要有图像分辨率低、黑白与彩色照片进行比对、时间跨度大、角度差异等。

本节重点分析图像SR技术对人像比对结果的影响, 将原始图像、SR处理（算法1）后图像、SR处理（算法2）后图像、清晰化处理后的图像分别与阶段1图像进行人像1:1比对, 绘制人像比对结果箱形图, 如图4所示。从图4可以看出, 低、中质量图像组人像比对结果波动较大, 异常值较多, 高质量图像组人像比对结果相对稳定。低质量图像组SR算法处理后的人像比对结果上下分位线和均值都有所降低, 均值低于中位线, 分数向低偏移明显, 而清晰化处理方法比SR算法处理后的人像比对结果表现略好, 异常值减少; 中质量图像组的人像比对结果异常值是最多的, SR算法处理后的人像比对结果均值有所降低, 而清晰化处理方法人像比对结果的最小值下移, 中位线上升明显, 整体效果有提升。高质量图像组的人像比对结果整体表现相对稳定。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 分组人像比对结果箱形图Fig.4 Box-plotting of results from comparison among the grouped personal photo images

采用本文中的数据分析方法计算SR处理（算法1）、SR处理（算法2）、清晰化处理方法与阶段1图像的人像比对结果的改善占比如表2所示。

表2

Table 2

表2(Table 2)

表2 人像比对结果改善占比统计 Table 2 Statistics about the percentage of results from the improved comparison among images 分组 SR处理（算法1） SR 处理（算法2） 清晰化处理 全部人像 30.9 29.8 43.6 低质量人像 33.3 30.0 50.0 中质量人像 19.0 28.6 45.2 高质量人像 26.2 16.7 16.7 注：以阶段1图像为基准。

表2 人像比对结果改善占比统计 Table 2 Statistics about the percentage of results from the improved comparison among images

从表2中看出, 两种SR算法处理后的人像比对结果分别有30.9%和29.8%的上升, 低于清晰化处理方法的提升比例。其中, 低质量人像组的人像比对结果提升数量最多。接下来从均值、均方误差等方面进一步分析图像SR算法对人像比对结果的影响。

SR处理（算法1）、SR处理（算法2）和清晰化处理后的图像与阶段1图像的人像比对结果较处理前人像比对结果提升的均值、均方误差、最大值、最小值见表3。

表3

Table 3

表3(Table 3)

表3 人像比对结果提升统计 Table 3 Statistics about the percentage of results from the improved comparison among images against the ones of phase 1's 分组 SR 处理（算法1） SR 处理（算法2） 清晰化处理 均值 均方误差 最大值 最小值 均值 均方误差 最大值 最小值 均值 均方误差 最大值 最小值 全部人像 -1.11 13.29 5.60 -17.20 -1.27 12.64 8.63 -20.7 0.05 3.04 8.50 -6.90 低质量人像 -1.60 15.96 3.00 -12.40 -1.51 9.56 8.63 -9.30 0.15 4.34 8.50 -4.40 中质量人像 -1.31 10.89 2.47 -17.20 -1.26 17.35 2.00 -20.70 0.01 3.48 7.90 -6.90 高质量人像 -0.06 14.25 5.60 -14.30 -0.96 7.84 2.80 -10.90 -0.02 0.44 2.10 -1.00 注：以阶段1图像为基准。

表3 人像比对结果提升统计 Table 3 Statistics about the percentage of results from the improved comparison among images against the ones of phase 1's

从表3中看出, 不论是全部人像还是分组人像, 两种图像SR算法处理后的人像比对结果提升的均值都处于零值以下, 反映出该方法对于人像比对结果整体并没有明显改善, 清晰化处理后的人像比对结果改善均值趋于零, 对整体结果改善并不明显。其中, SR处理（算法1）人像比对结果提升最大值为5.6, 落入高质量人像组; 效果最差的结果降低了17.2, 落入中质量组, 整体提升数值的均方误差较大, 稳定性较差。SR处理（算法2）人像比对结果提升最大值为8.63, 落入低质量人像组, 结果最差的降低了20.7, 最大值与最小值跨度区间大, 离散程度高, 可见并不是每一张经过SR算法处理后的人像都对实战有帮助, 有时会适得其反。两种SR算法的稳定性都不如传统的清晰化处理方法。

通过4.1、4.2、4.3的分析, 对于SR算法对人像比对结果的影响有了一个全面的了解, 本节选取上述具有代表性的中低质量人像进行检索验证分析, 高质量人像本已满足实战需求, 暂不分析。利用SR（算法1）处理前后的人像比对结果如图5所示, 人像比对结果提升2.45, 人像增强效果显著, 将其进行人像1:N比对检索分析, 检索序列排名从10上升到2, 如图6所示, 排名显著提升。利用SR（算法2）处理前后的人像比对结果如图7所示, 人像比对结果提升8.63, 将其进行人像1:N比对检索分析, 检索序列排名从6上升到2, 如图8所示。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 人像1:1比对结果（a.原始人像; b.SR算法1处理后人像）Fig.5 Comparison under the 1:1 contraposition (a. original photo image; b. the obtained from SR algorithm 1 having processed into the image of a)

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 人像1:N比对检索结果（a.原始人像; b.SR算法1处理后人像）Fig.6 Results from searching into the comparisons under 1:N contraposition (a. original photo image; b. the obtained from SR algorithm 1 having processed into the image of a)

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 人像1:1比对结果（a.原始人像; b.SR算法2处理后人像）Fig.7 Comparison under the 1:1 contraposition (a. original photo image; b. the obtained from SR algorithm 2 having processed into the image of a)

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 人像1:N比对检索结果（a.原始人像; b.SR算法2处理后人像）Fig.8 Results from searching into the comparisons under 1:N contraposition (a. original photo image; b. the obtained from SR algorithm 2 having processed into the image of a)

分析图5至图8得出, SR算法处理后的人像视觉增强效果非常显著, 在上述4.2、4.3的分析中, SR算法并没有表现出在人像比对结果整体提升方面的优势, 但对于个例图像人像比对结果的提升还是有意义的, 不仅提升了人像比对1:1指数结果, 也在人像1:N比对检索中排名上升, 为案事件的研判分析提供一定的帮助, 有一定的实战应用价值。