渐变曲率曲面指纹的自适应校正方法实验研究
栗赫遥1, 高畅2, 蔡能斌2, 包清2,3,*
1.上海公安学院,上海 200137
2.上海市公安局刑事侦查总队,上海 200083
3.上海理工大学,上海 200093
* 通信作者简介:包清,男,上海人,博士研究生,高级工程师,研究方向为物证技术学及模式识别。E-mail: 2459083965@qq.com

第一作者简介:栗赫遥,女,辽宁葫芦岛人,硕士,讲师,研究方向为公安学及犯罪学。E-mail: li-heyao@163.com

摘要

目的 提出一种基于Python平台的校正方法,解决曲面客体上指纹在采用光学方法提取后发生变形的问题。方法 根据标尺刻度的变化,自适应地求得最佳匹配曲面以及任意一点的放大率,通过逆变换消除曲面客体造成的畸变。结果 使用该方法校正曲率半径固定的简单曲面上指纹,结果的平均误差为5.3%,使用HGXJ-360曲面物证图像展平系统校正结果的平均误差为7%。使用该方法校正曲率半径变化的复杂曲面上的指纹,亦能取得显著的校正效果。结论 本文提出的渐变曲率曲面指纹的自适应校正方法能够自动化地校正各种曲面客体上的指纹,在简单曲面客体上其效果优于现有的成熟的校正方法,在复杂曲面客体上亦能得到优异的效果,能够为现场勘查中各类曲面物体上指纹的无损提取提供有力辅助。

关键词: 曲面客体; 复杂曲面; 指纹校正
中图分类号:DF794.1 文献标志码:A 文章编号:1008-3650(2021)04-0342-07
Tentative Exploration about Self-adaptive Correction into Fingerprints Extracted from Surfaces of Gradual Curvature
LI Heyao1, GAO Chang2, CAI Nengbin2, BAO Qing2,3,*
1. Shanghai Police College, Shanghai 200137, China
2. Criminal Investigation Department of Shanghai Public Security Bureau, Shanghai 200083, China
3. University of Shanghai for Science and Technology, Shanghai 200093, China
Abstract

Objective A Python-based self-adaptive correction was to propose for fingerprints that had been extracted from the surfaces of gradual curvature so that the difficult problem could be solved about identifying the deformed fingerprints after optical development and visualization on curving objects.Methods A calibration-engraved scaling ruler was used to measure the curvature surface where fingerprint was deposited. Based on the measurement and calculation of the deformation from the ruler’s calibration, a correction approach was set up through Python3.4 programming plus devisal so that both the optimal matching surface and magnification rate were to figure out adaptively, making the distortion eliminated with reverse transformation. Therefore, a revision can be carried out into bringing the fingerprint to proximity to its original pattern.Results The fingerprints on simple curving radius-fixed surfaces have been able to correct with obvious effect under the average error of 5.3%, contrasting to the 7% from HGXJ-360, the Curvature-surface Physical Evidence Image Flattening System developed by Evidential Materials Authentication Center of Shanghai Public Security Bureau. For the fingerprints on complex surfaces of changing curvature radii, significant correction effects have even been attained furthermore.Conclusion The correction approach established here can automatically revise the fingerprints on various curved surfaces towards proximity to their original patterns, demonstrating effective for fingerprints on both the simple radius-fixed curvature surfaces and complex radius-changing ones, therefore capable of providing strong supports with nondestructive extraction of fingerprints on various surfaces in crime scene investigation.

Key words: curved object; complex curved surface; fingerprint correction

曲面客体上的遗留指纹, 一直是现场物证提取的难点。现有的主要提取方法可以分为两类。第一是间接提取法, 即将曲面指纹转印到平面后再进行提取; 第二是直接提取法, 即在曲面客体上直接提取指纹图像。第一种方法的优点是通过转印到平面上提取, 能够避免曲面客体直接拍照提取带来的指印图像变形, 缺点是容易造成操作上的失误, 可能导致转印过程中指印特征的丢失, 或是在转印过程中将干扰物质一同转印形成了假特征; 第二种方法的优点是无损, 不会因为操作改变指印特征, 但是曲面客体指纹直接拍照提取会产生变形, 尤其是在客体弯曲程度较大时会对后续的检验鉴定产生较大干扰。

为了校正变形指纹, 一些学者已经提出了若干校正的方法。林弟华等[1]提出了测算特征点之间的畸变系数来校正变形指纹的方法, 但该方法主要适用于擦划状的变形指纹, 并且由于只是单纯的常数校正, 对于曲面这种各点之间变形均不同的复杂变形不适用。曹轶超等[2]提出了使用matlab通过预制变形模板和人工选取网格参考点相结合的方法采用多项式拟合进行校正, 该方法的校正效果受制于人工对特征点的选取以及拟合的阶数, 高阶数对取点和计算量的要求较高, 低阶数的拟合效果可能不理想。倪前兵等[3]提出了利用Photoshop中的扭曲滤镜对曲面客体的变形进行校正, 但该方法需要已知曲面客体的曲率半径, 对于曲率半径存在变化的客体, 当客体曲率变化较大时该方法会产生较大的误差, 并且不适合校正球面类客体。唐宇穗等[4]及陶桂兰等[5]介绍和报道了通过模拟实验, 利用Photoshop的自由变换功能对图像进行校正并且比中嫌疑人的案例, 但该类方法主要依赖人工操作, 缺乏模式特征不易推广。上海市公安局物证鉴定中心研制的HGXJ-360曲面物证图像展平系统能够采用类似扫描的方法展开规则圆柱形物体上的指纹, 该方法操作简便, 结果迅速直观, 但需要将客体固定在载具上, 旋转展开得到结果, 所以不适用于曲率半径不一致和不便拆卸的客体。仲伟波等[6]提出利用指纹拓扑模式自动匹配和识别指纹, 对变形指纹的匹配有较好的鲁棒性, 匹配率可达近60%, 但匹配率较低, 无法应用于现有指纹识别系统。

为了校正曲率半径存在变化的复杂曲面客体上的变形指纹, 本文提出了一种基于渐变曲率自适应的校正算法, 能够自动化地校正各种复杂曲面上的变形指纹。由于HGXJ-360曲面物证图像展平系统效果好、结果直观, 因此作为本文校正方法的比较方法。

1 材料与方法
1.1 材料

本文选择了曲率半径固定的简单曲面以及曲率半径存在变化的复杂曲面作为承痕客体, 分别制作了多枚曲面客体上遗留的指纹样本进行校正实验。其中简单曲面校正的结果采用本文的校正方法和HGXJ-360曲面物证图像展平系统进行比较, 对于曲率半径变化的复杂曲面, 由于HGXJ-360曲面物证图像展平系统失效, 故只采用本文方法进行校正。在曲率半径为3.5 cm的金属罐表面使用磁性粉刷显, 制作样本1; 在曲率半径为3 cm的一次性塑料杯表面使用磁性粉刷显, 制作样本2; 在曲率半径为2 cm的药瓶表面使用502熏显, 制作样本3; 在曲率半径不固定的塑料蛋糕盒表面使用502熏显, 制作样本4。使用佳能EOS-1单反数码相机, 采用可见光配光方法对所制作的样本进行光学提取, 原始光学提取图片如图1所示。

图1 不同曲面客体表面指纹(a.金属罐; b.塑料杯; c.药瓶; d.塑料蛋糕盒)Fig.1 Fingerprints on different curvature surfaces (a. metal canister; b. plastic cup; c. medicine bottle; d. cake box)

1.2 方法

本文的校正方法基于Python3.4平台编程实现。主要可以分为如下步骤:1)预处理; 2)计算最大投影位置及最佳匹配转角; 3)计算最佳匹配偏移量; 4)依据约束条件计算每一点的放大率; 5)通过插值算法计算RGB值。本文的曲面校正主要针对曲率半径稳定的简单柱面和曲率半径存在变化的复杂柱面。

预处理主要是对图像进行二值化处理, 并且采用5线平均法计算得到标准标尺的各小刻度之间的间隔数据, 如图2所示。

图2 5线平均法求各间隔示例Fig.2 Example of calculating spacing distance between calibrations with five-line averaging

计算最大投影位置及最佳匹配转角时, 假设曲面变形是由一个曲率半径为常数R的曲面造成的, 由于标准标尺的每个小刻度(相同的弧长)转过的转角是相同的, 所以可以近似地由一组增量为的余弦值和观测值进行最佳匹配, 计算得到每个小刻度转过的转角, 示意图如图3所示。

图3 最佳余弦匹配示意图Fig.3 Schematic for optimal cosine matching

理论上说, 标准标尺的刻度宽度的比值序列可以作为投影余弦值的表征, 进而计算出每个小标尺刻度转过的转角。但图像在二值化后不可避免地在刻度边缘存在毛刺的现象, 并且打印的标准标尺的刻度总是存在一定的误差, 单纯地使用宽度较小的刻度宽度可能会导致相对误差过大, 故在本文中对匹配的宽度进行了改进, 如式(1)所示。

$ c_{n}=b_{n}+a_{n}+b_{n+1}$(1)

cn为第n项的改进后待匹配结果, an为第n条刻度线的宽度, bn为第n-1条刻度线到第n条刻度线的宽度。

最大投影位置的计算如式(2)所示。

$ S_{t}=1-\min \left(\frac{\sum_{1}^{t-1} c_{n}}{\sum_{t+1}^{n} c_{n}}, \frac{\sum_{t+1}^{n} c_{n}}{\sum_{1}^{t-1} c_{n}}\right) $(2)

其中t是刻度对应位置, St是衡量最大投影位置的参数, St中结果最小的t所处的位置即为最大投影位置。在求得最大投影位置后, 转角的匹配由式(3)决定。对式(3)求转角的偏导即式(4), 根据解得的θ 按照式(5)即可得到最佳的匹配转角序列。

$ S=\sum_{1}^{n}\left(\cos (n \times d \theta)-\frac{c_{n}}{c_{t}}\right)^{2}$(3)

$ \frac{\partial S}{\partial \theta}=0$(4)

$ L_{n}=\cos (n \times d \theta)$(5)

由于该匹配模式是在假设客体曲率半径不变时计算得到的, 为了增进效果和扩大适用范围, 可以结合目前广泛应用于校正各种变形的M阶多项式函数解析法[7], 对该匹配结果需要进行转角的一阶增量及二阶增量的补偿, 即将式(5)修正, 得到式(6)。

$ L_{n}=\cos (n \times d \theta)+A \times d \theta +B \times d \theta ^2$(6)

其中Ln为修正后的匹配系数, AB分别表示经过最小二乘法后的转角的一阶和二阶补偿量的系数。

在得到一组离散的匹配系数的结果之后, 结合约束条件可以计算出任意一点对应的转角α 如式(7)所示, 示意图见图4。

$\frac{\int_{\alpha}^{\theta_{2}} \cos \theta d \theta}{\int_{\theta_{1}}^{\alpha} \cos \theta d \theta}=\frac{L_{l}}{L_{r}} $(7)

图4 缩放系数计算示意图Fig.4 Schematic for defining the scaling coefficient

其中θ 1θ 2分别是变换点所处位置的两侧的最佳匹配转角, Ll表示变换点到左侧标尺刻度的视线长度, Lr表示变换点到右侧标尺刻度的视线长度。据此可以求出任意一变换点对应的转角α , 依照式(5)并且叠加上转角的一阶及二阶的补偿量即可得到最终的缩放结果。

参照式(4)和式(5)可以计算出变形曲面上任意一点的放大率函数β (x), 其中β 表示放大率, x表示变形图像中横坐标的坐标值, θ xθ 1θ 2加权平均后的调和角度, 具体计算方法如式(8)所示。

$\beta(x)=\sqrt{1-\left(\frac{L_{r} \times \sin \theta_{2}+L_{l} \times \sin \theta_{1}}{L_{l}+L_{r}}\right)^{2}}+A \times \theta_{x}+B \times \theta_{x}^{2} $(8)

得到任意一点的放大率后, 就可以根据曲面变形图像计算得到校正图像与其对应的虚拟坐标, 再采用在图像校正过程中常用的双线性插值算法[8], 即可计算得到校正后任意一点的RGB值。

2 结果

使用本文的算法对曲面上的指纹校正后, 对校正后指纹的相同特征点进行了标注, 所得结果如图5、图6、图7、图8所示。

图5 金属罐表面指纹比对结果(左侧为原始结果, 右侧为本文校正结果)Fig.5 Fingerprints on metal canister (Left: the original; Right: the calibrated with the approach established in this paper)

图6 塑料杯表面指纹比对结果(左侧为原始结果, 右侧为本文校正结果)Fig.6 Fingerprints on plastic cup (Left: the original; Right: the calibrated with the approach established in this paper)

图7 药瓶表面指纹比对结果(左侧为原始结果, 右侧为本文校正结果)Fig.7 Fingerprints on medicine bottle (Left: the original; Right: the calibrated with the approach established in this paper)

图8 蛋糕盒表面指纹比对结果(左侧为原始结果, 右侧为本文校正结果)Fig.8 Fingerprints on cake box (Left: the original; Right: the calibrated with the approach established in this paper)

使用HGXJ-360曲面物证图像展平系统作为比较方法, 对曲率半径固定的简单曲面展开后, 采用与前文所述同样的方法对校正后的指纹的特征点进行标注, 所得结果如图9、图10、图11所示。

图9 金属罐表面指纹比对结果(左侧为原始结果, 右侧为HGXJ-360展平仪结果)Fig.9 Fingerprints on metal canister (Left: the original; Right: the calibrated with HGXJ-360)

图10 塑料杯表面指纹比对结果(左侧为原始结果, 右侧为HGXJ-360展平仪结果)Fig.10 Fingerprints on the plastic cup (Left: the original; Right: the calibrated with HGXJ-360)

图11 药瓶表面指纹比对结果(左侧为原始结果, 右侧为HGXJ-360展平仪结果)Fig.11 Fingerprints on medicine bottle (Left: the original; Right: the calibrated with HGXJ-360)

完成校正和标注后, 在一张A4纸上制作一个对应的捺印样本, 并在相同的特征点处进行标注。特征点之间接序距离的测量方法如图12所示, 以金属罐表面为例, 红色虚线即为特征点1-2之间的接序距离, 依据加贴的比例尺即可换算出两者间的标准距离。测量并记录捺印样本各个特征点之间的接序距离(分别为1-2, 2-3, 3-4…9-10), 共计9个距离结果, 对两种校正结果进行相应的测距并计算偏差率及总偏差率, 结果见表1(金属罐表面)、表2(塑料杯表面)、表3(药瓶表面)。

图12 金属罐表面接序距离1-2测量示意图(左侧为校正结果, 右侧为捺印样本)Fig.12 Diagram for measuring the succession distance exampled with the one of 1-2 from metal canister (Left: the calibrated; Right: the stamped fingerprint)

表1 本文方法与HGXJ-360测量金属罐表面指纹误差比较 Table 1 Errors between the approach established in this paper and the one using HGXJ-360 to measure fingerprints on metal canister
表2 本文方法与HGXJ-360测量塑料杯表面指纹误差比较 Table 2 Errors between the approach established in this paper and the one using HGXJ-360 to measure fingerprints on plastic cup
表3 本文方法与HGXJ-360测量药瓶表面指纹误差比较 Table 3 Errors between the approach established in this paper and the one using HGXJ-360 to measure fingerprints on medicine bottle

本算法与现有成熟的HGXJ-360曲面物证图像展平系统相比具有以下几点优势。1)不需要将客体固定在载具上, 对于不便拆卸的客体以及需要复杂的配光方式提取固定的指纹有着明显的优势。2)校正效果更好。HGXJ-360曲面物证图像展平系统是通过调整旋转速度以及扫描窗口大小来匹配不同曲率半径的客体, 这就导致无法做到最佳匹配, 并且匹配过程依赖操作人员的主观经验。从实验结果可以看到在纹线条件相同的情况下, 在3种曲率半径固定的客体上, 本文校正方法的误差分别为6.2%、6.1%、2.9%, 比较方法的误差分别为6.3%、11%、3.7%, 本文方法在校正效果上优于比较方法。3)适用于曲率半径变化的复杂曲面客体。HGXJ-360曲面物证图像展平系统只能展平曲率半径固定客体上的痕迹, 对于图1d这种蛋糕盒转角上的指纹是失效的, 而本算法可以根据标尺的变形自适应地调节匹配的曲率半径, 由图8可看出本文方法对曲率半径变化的复杂曲面上指纹依旧能够取得显著的校正效果。

本算法是在建立了相应的模型之后, 依据标准标尺变形的结果自动化地对图像进行校正。所以标尺的刻度能够清楚反映是本算法得以实现的基础, 由于标尺黑白反差大易于得到区分, 所以算法的鲁棒性较强, 但仍有两点需要注意。1)标尺中不能出现大片的反光, 否则会使刻度无法得到反映, 使该方法失效。2)如指纹面积较大并且客体的曲率半径较小时, 由于客体弯曲程度大, 在光学提取时, 需要注意景深问题, 由于算法在校正时两侧的放大率往往较大, 在插值的情况下会进一步降低反差, 可能导致特征点无法得到清晰反映。

3 结论

渐变曲率自适应校正算法能够自动地依据标准的标尺, 给出最佳的自适应曲率变化的匹配结果, 使用范围广, 操作简便, 效果好。不需要对客体进行拆卸, 配合光学直接提取方法, 能够无损地将曲面客体上的指纹提取固定。本文介绍的方法在提取曲率半径固定的简单曲面时效果优于现有的HGXJ-360曲面物证图像展平系统, 对于曲率半径变化的复杂曲面客体上指纹的校正则是在该领域的一次从无到有的突破, 为曲面变形指纹的后期校正、检索、比对工作提供了有力辅助。

参考文献
[1] 林弟华, 张明. 变形指纹的矫正与应用研究[J]. 刑事技术, 2016, 41(6): 515-516.
(LIN Dihua, ZHANG Ming. Analysis and application of distorted fingerprint[J]. Forensic Science and Technology, 2016, 41(6): 515-516. ) [本文引用:1]
[2] 曹轶超, 虞静, 于奎栋. 变形指印矫正方法与工具研发[J]. 警察技术, 2017(1): 41-43.
(CAO Yichao, YU Jing, YU Kuidong. Development of tools for calibrating distorted fingerprints[J]. Police Technology, 2017(1): 41-43. ) [本文引用:1]
[3] 倪前兵, 周毅锦. 利用Photoshop校正圆柱形客体上的变形指纹[J]. 广东公安科技, 2002(2): 33-34.
(NI Qianbing, ZHOU Yijin. Calibration of fingerprint on cylinder object by Photoshop[J]. Guangdong Public Security Technology, 2002(2): 33-34. ) [本文引用:1]
[4] 唐宇穗, 孙燕. 巧用PHOTOSHOP修正变形指纹特征[J]. 江苏警官学院学报, 2016(5): 116-118.
(TANG Yusui, SUN Yan. Calibration of distorted fingerprint by using Photoshop[J]. Journal of Jiangsu Police Officer College, 2016(5): 116-118. ) [本文引用:1]
[5] 陶桂兰, 董大刚. 修正变形指纹提高比中概率的案例思考[J]. 刑事技术, 2019, 44(6): 562-564.
(TAO Guilan, DONG Dagang. Matching probability improved by rectifying deformed fingerprints[J]. Forensic Science and Technology, 2019, 44(6): 562-564. ) [本文引用:1]
[6] 仲伟波, 吕园, 李敏敏. 指纹拓扑模式构建及其在识别中的应用[J]. 中国图像图形学报, 2013(12): 1587-1592.
(ZHONG Weibo, Yuan, LI Minmin. Fingerprint topological pattern construction and its application in recognition[J]. Journal of Image and Graphics, 2013(12): 1587-1592. ) [本文引用:1]
[7] 赖国俊, 申功炘. 控制点排列对图像校正的影响及重复校正[J]. 北京航空航天大学学报, 2009(10): 1214-1219.
(LAI Guojun, SHEN Gongxin. Influence of control point arrangement on image correction and repeated rectification[J]. Journal of Beijing University of Aeronautics and Astronautics, 2009(10): 1214-1219. ) [本文引用:1]
[8] 包清, 樊少勇, 黄晓春. 基于Taylor二阶展开的双线性插值偏角足迹校正技术[J]. 中国人民公安大学学报(自然科学版), 2019(3): 7-12.
(BAO Qing, FAN Shaoyong, HUANG Xiaochun. Correction of deflective footprint based on Taylor second-order expansion and bilinear interpolation[J]. Journal of People’s Public Security University of China(Science and Technology), 2019(3): 7-12. ) [本文引用:1]