线形痕迹三维点云去噪技术研究
朱志华1,2, 刘晋3, 胡晰远1,*
1.中国科学院自动化研究所,北京100190
2.中国科学院大学人工智能学院,北京100049
3.公安部物证鉴定中心,北京100038

第一作者简介:朱志华,男,湖北黄冈人,硕士在读,研究方向为数字图像处理。E-mail: zhuzhihua2018@ia.ac.cn

摘要

目的 通过对采集到的线形痕迹的三维点云数据进行去噪处理研究,为后续点云数据的特征提取和匹配提供良好的依据。方法 针对共聚焦显微镜采集的10种常见工具痕迹的点云数据,实验了均值滤波、中值滤波、曲率滤波三种点云数据去噪的滤波算法,通过对这三种算法处理结果的分析,提出了融合这三种滤波的线形痕迹三维点云数据去噪算法。结果 测试样本在去噪后,点云特征更加显著,经过计算滤波后点云、带噪声点云与标准点云的误差值,可以发现最大误差平均减少了79.6%。结论 融合后的去噪算法利用了三种滤波器各自的优势,在针对工具的线形痕迹点云的去噪实验中取得了比单独采用三种滤波方法更好的效果。

关键词: 痕迹学; 三维点云; 去噪; 滤波; 融合
中图分类号:DF794.1 文献标志码:A 文章编号:1008-3650(2020)06-0556-06
Attempt to Denoise into 3D-point Cloud of Linear Trace
ZHU Zhihua1,2, LIU Jin3, HU Xiyuan1,*
1. Institute of Automation, Chinese Academy of Sciences, Beijing 100190, China
2. School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing 100049, China
3. Institute of Forensic Science, Ministry of Public Security, Beijing 100038, China

* 通讯作者简介:胡晰远,男,浙江慈溪人,博士,副研究员,研究方向为视频和图像处理。E-mail: xiyuan.hu@ia.ac.cn

Abstract

Objective To tentatively denoise into the 3D-point cloud data collected from linear traces so as to provide basis or reference for the successive feature extraction and matching against the point cloud data.Methods Through denoising into the point cloud data of 10 kinds of common-tool traces collected via confocal microscope, three filtering algorithms, i.e., the mean, median and curvature, were tested of their effect with evaluation. Based on the processing results of the three algorithms, a denoising algorithm of three-dimensional point-cloud data was proposed for the involving linear traces, having successfully resulted in such an integrative arithmetic that was built with the three algorithms from being weighted.Results The tested results showed that the post-denoising sample, processed from the integrated algorithm, did demonstrate more distinct features exhibiting the pattern of point cloud, having rendered the maximal average error decreasing by 79.6% against the noise-harboring and/or standard point cloud data.Conclusions The integration of three filtering algorithms optimizes the preponderance of each individual, achieving better performance than each single one of the three choices for the point-cloud data of trace to deniose.

Key words: traceology; 3D point cloud; denoising; filtering; fusion

工具痕迹是犯罪现场上出现率较高, 但利用率较低的痕迹物证之一[1]。通过工具痕迹鉴定可以认定作案工具, 为诉讼提供证据[2], 对工具痕迹的检验技术也是侦查破案的重要手段之一[3]。现有的工具痕迹研究主要集中在痕迹的形态与结构, 如痕迹的形状, 工具表面的结构等, 对于痕迹的细节特征研究较少, 尤其是工具痕迹的三维几何信息。三维点云作为一种重要的表达物体三维几何形状的数据结构, 将物体表面的三维信息如几何位置、颜色、强度等参数用坐标点来表示, 为三维几何建模提供了重要的基础[4]。随着三维高精度采集技术的迅速发展, 对于工具痕迹表面三维信息的精确采集已经成为可能[5, 6, 7]。然而由于采集设备自身的硬件缺陷, 物体表面粗糙程度的不同, 人为干扰以及光照等因素的影响, 导致获取到的点云数据含有大量的噪声, 影响后续的三维建模。为获得光滑逼真的三维模型, 需要对采集到的三维点云数据进行去噪处理[8]。研究人员对点云的去噪进行了广泛的研究, 提出了一些基于网格去噪, 基于图的去噪, 以及基于投影去噪的方法。Digne等人提出的基于网格的双边滤波器算法[9]和Elmoataz等人提出的偏微分方程算法[10]被广泛用于网格和点云的去噪, 但这些算法会导致收缩和变形[11]。近年来, 基于图的去噪算法受到了越来越多的关注, 因为可以通过图构造出近似流形并运用Laplace-Beltrami算子[12], 然而从一个含噪声的点云中构建出的图结构也是带有噪声的, 不能反映真实的流形, 从而导致变形问题[13]。我们的方法从滤波的角度出发, 先分析了均值滤波、中值滤波和曲率滤波三种滤波方式的优势, 最后提出了一种基于融合的滤波方法, 通过对三种滤波方式的结合, 得到比单独任何一种滤波方式更好的去噪结果。

1 研究内容和方法
1.1 点云采集设备

实验采用的点云数据由共聚焦显微镜采集, 其型号为Leica DCM3D, 它结合了共聚焦和干涉测量技术, 具有高速和高分辨率的特点, 分辨率高达0.1 nm, 其中共聚焦模式用于测量异常粗糙表面到光滑表面的形貌, 即使不接触样本表面, 精细的表面结构也变得清晰可见。共聚焦显微镜由生物学显微镜、图像采集系统、微量步进电机系统、自动步进拍照控制系统、图像处理系统组成。实验中显微镜选用了100倍的镜头, 调整镜头高度为2~5 cm, 在计算机上打开显微镜应用软件, 设置参数如下:3D模式, 采样间距10~50 nm, 长度200 μ m, 宽度100 μ m。

1.2 点云数据

点云数据是一种重要的表达物体三维信息的三维模型, 通过三维采集设备对物体表面进行采样, 可以得到一系列表示物体几何位置、颜色和强度等参数的坐标点, 即三维点云。由于采集过程中不可避免地受到人为干扰、环境光照程度、采集设备的精度以及物体表面纹理差异等因素影响, 导致获取的三维点云数据通常带有小振幅噪声和离群点, 使得三维重建后的模型失真, 甚至出现收缩和变形等严重问题。为了能够获取光顺逼真的点云模型, 需要对采集得到的三维点云数据进行去噪。

1.3 问题描述

令为三维无噪声的点云集合, 其中N为集合中点的总数, 每个点=[]T是一个坐标向量, 令表示一个带噪声的三维点云集合, 每个点=[]T是一个坐标向量, 注意, 其中是一个附加到点的服从高斯分布的噪声向量, 即(0, Σ )。其目标是从噪声点中去除噪声向量。

2 滤波方案

点云的去噪在点云模型重建过程中至关重要, 国内外的学者对其去噪方法展开了广泛的研究。常用的点云去噪方法有均值滤波、中值滤波和曲率滤波等。这些方法都是从图像去噪方法拓展而来, 实验中对点云数据的去噪同样取得了较好的效果, 但也存在一些不足之处。

2.1 均值滤波

对待处理的当前采样点, 选择一个模板, 该模板由其邻近的若干个数据点组成, 用模板的均值来替代当前采样点的值的方法。对于三维点云, 模板为一个球体D(如图1c), 即将三维点云中的一个采样点(x0, y0, z0)处的值用其邻域D(x0, y0, z0)={(x, y, z)|(x-x0)2+(y-y0)2+(z-z0)2<d2}的点集平均值代替:

(1)

其中d为邻域半径, 半径值越大去噪后的点云越平滑, 但同时细节信息的丢失也会越严重, 通常根据经验预先人为设定, #D(x0, y0, z0)是D(x0, y0, z0)中点的个数。

图1 均值滤波模拟图
(a:原始模拟点云图; b:加入噪声的点云图; c:滤波球体; d:去噪后点云图)
Fig.1 Illustration of simulation for mean filtering
(a: original point cloud; b: point cloud added with noise; c: the patterning sphere for filtering; d: point cloud after denoising)

遍历点云中的所有点, 通过上述公式得到一个滤波前到滤波后的点对点映射。在滤波后的点云集合下, 通过Delaunay三角剖分[14], 生成新的点云网格图。该方法计算简单, 计算速度快, 对白噪声鲁棒性强。其缺点是降低噪声的同时丢失点云的细节信息, 容易产生过于光顺的现象。

2.2 中值滤波

中值滤波方法是, 对待处理的当前采样点, 选择一个模板, 该模板由其邻近的若干个数据点组成, 对模板内的点云数据由小到大进行排序, 再用模板的中值来替代当前采样点的值的方法。类似于均值滤波, 中值滤波的模板也是一个球体D。对于三维点云中的一个采样点(x0, y0, z0), 其邻域为D(x0, y0, z0 )={(x, y, z)|(x-x0)2+(y-y0)2+(z-z0 )2d2 }。邻域中的所有点, 对每个通道(xyz轴方向)从大到小排序:

(2)

(3)

(4)

取其中值处的数据作为采样点(x0, y0, z0)处的替代值。由此得到中值滤波的点对点映射:

(5)

在滤波后的点云集合下, 通过Delaunay三角剖分, 生成新的点云网格图。该算法抑制噪声效果较好, 点云的细节信息基本保持, 对于脉冲噪声也有很好的去噪效果, 但是对高斯噪声的抑制效果不是很好。

2.3 曲率滤波

曲率滤波解决的问题其实是求解变分模型, 相比之前的扩散方法或梯度下降法等, 曲率滤波是从微分几何的角度最小化相关曲率来实现最小化正则项的方法[15]。高斯曲率的定义是:

(6)

在去噪算法中, 用到的变分模型是总绝对高斯曲率变分模型:

(7)

其中, 是高斯曲率能量, 是演化终止阈值, 是个很小的数。很多文献已经给出了上述问题的求解方法, 一般是基于扩散的方法, 主要是通过加入伪时间t, 直到达到稳定状态或满足终止条件:

(8)

初始条件。这个模型已经通过使用几何流形的方法推广到各向异性扩散方法中:

(9)

该方法的基本步骤为:1)获取点云模型中各个采样点niK邻域; 2)选取每个采样点ni在其K邻域的12个三角构型切平面Aij(1≤ j≤ 12); 3)计算采样点ni到切平面的投影距离, 并确定最短距离di; 4)将切平面上投影点处的值作为采样点ni的新值。

该方法利用点云模型的离散特性来隐式地优化曲率, 即减小曲率而不需要计算曲率, 大大降低了计算复杂度。对于分段可展曲面, 高斯曲率滤波并不会对其做任何改动, 从而很好地保持了细节信息。这种滤波方法具备如下优势[15]:1)通用性:不需要计算整体模型能量的梯度, 因此可以处理比较复杂的成像模型(各种噪声, 模糊, 云雾模型, 风沙模型, 海底场景模型等)。2)几何内涵:因为正则化对应的曲面是已知的, 我们用这些已知的曲面来逼近点云曲面。3)隐式优化:正因为使用了已知曲面来进行优化, 我们就不需要计算高斯曲率或者平均曲率, 降低了对原点云的要求。4)高效性:因为不要求计算曲率, 而且隐含地使用了已知的曲面, 曲率滤波计算非常简单, 效率是梯度下降算法的一百到一千倍。

2.4 三种滤波器融合的算法

本文将三种去噪技术融合为一种去噪算法, 结合了各个算法的优点, 形成了一种适用于线形痕迹三维点云的去噪技术。融合方式为三种去噪算法的加权平均, 即:

(10)

其中, V1, V2, V3, V分别为均值滤波、中值滤波、曲率滤波后的点云以及加权后点云的数据, ω 1, ω 2, ω 3分别为加权权重, 代表每种滤波器在去噪中的影响大小。权重的大小通过各滤波器在实验中的平均误差ei获得, 即:

(11)

利用本文提出的融合算法, 测试样本在去噪后, 点云特征更加显著。

3 实验流程
3.1 实验数据集

实验中的数据来自于10种工具的痕迹三维点云, 包括钢丝剪、家用剪刀、铁皮剪、铰刀、丝锥、匕首、钢丝钳、大力钳、斜嘴钳、尖嘴钳, 形成了标准的痕迹数据采集流程。

1)获得样本。使用以上工具将直径(0.1~0.2 cm)、材质相同的铁丝切断, 使其切面留下痕迹。

2)调整显微镜。打开共聚焦显微镜, 选择镜头(100倍), 调整镜头高度(2~5 cm)。

3)设置软件参数。在计算机上打开显微镜应用软件, 设置参数(3D模式, 采样间距10~50 nm, 长度200 μ m, 宽度100 μ m)。

4)将样本固定到纤维镜头下, 调整镜头高度, 使得软件中显示出清晰的点云。

5)将采集到的点云数据以.dat格式存储。

各工具的点云截图如图2所示。从图中10个工具痕迹的点云图可以看出, 不同的工具点云特征有一定的区别, 但不足以用肉眼区分。一部分点云特征比较显著, 比如图2(a、e、g、i、j)中的点云, 沟槽比较大, 而另一部分点云则显得比较普通, 区分度很小。

图2 各个工具痕迹点云图
(a:钢丝剪; b:家用剪刀; c:铁皮剪; d:铰刀; e:丝锥; f:匕首; g:钢丝钳; h:大力钳; i:斜嘴钳; j:尖嘴钳)
Fig.2 The point cloud of trace from each selected tool
(a: wire scissors; b: household scissors; c: iron scissors; d: reamer; e: tap; f: dagger; g: wire cutter; h: locking pliers; i: diagonal pliers; j: needle-nose pliers)

3.2 实验结果

实验共采集到了84个点云数据样本, 抽取其中20个进行去噪实验, 图3展示了4个测试样本分别使用四种滤波方法去噪前后的点云截图。为更好地比较本文的方法与传统去噪方法的效果, 图4展示了同一测试样本用四种滤波方法去噪前后的点云截图。

图3 4个样本去噪前后点云图
(上:去噪前样本, 下:去噪后样本, 去噪方法从左至右依次为a:均值滤波; b:中值滤波; c:曲率滤波; d:基于融合滤波)
Fig.3 Four samples after denoising
(The above/below row shows the samples before/after denoising, with the denoising from left to right into the filtering way of, a: the mean; b: median; c: curvature; d: integration)

图4 同一样本四种滤波方法去噪后点云图
(a:去噪前样本, b~e:分别使用均值滤波、中值滤波、曲率滤波和基于融合滤波去噪后)
Fig.4 Results of four filtering methods to process the same sample
(a: the original sample before denoising; b~e: the resulted sample after processed through denoising with the individual filtering way of the mean, median, curvature and integration)

3.2.1 结果分析

可以看出, 均值滤波对点云局部平滑比较明显, 但对于一些“ 尖峰点” 仍然保留。中值滤波去噪后, 点云表面的“ 毛刺” 基本都被滤波掉, 甚至一些小范围的异常点也消失了, 但局部存在一些不连续点。曲率滤波对点云的细节信息保留较好。本文提出的基于融合的去噪方法既去除了毛刺点, 同时也很好地保留了点云的边缘处细节信息。

3.2.2 误差分析

实验中, 我们将滤波后的点云作为标准点云, 记为f(x, y, z), 对标准点云加入高斯噪声生成带噪声点云, 即f(x, y, z)+N(μ , σ )。然后对带噪声点云分别使用上述四种去噪方法, 得到滤波后点云f(x′ , y′ , z′ )。通过式(12)计算滤波后点云与标准点云的误差以及带噪声点云与标准点云的误差, 从而估计出滤波操作对带噪声点云最大误差去除效果。

(12)

对20个带噪声的点云样本分别用上述传统方法和本文提出的方法进行去噪实验, 其中均值滤波去噪后点云的最大误差减少量为84.2 %, 中值滤波去噪后点云的最大误差减少量为85.4 %, 曲率滤波去噪后点云的最大误差减少量为86.2 %, 实验结果如表1所示。从表中可以看出, 最大误差的减少量最小值72.5 %, 最大值86.9 %, 整体比较均匀, 说明鲁棒性较高, 而总体误差平均减少量为79.6 %。

表1 去噪实验结果 Table 1 Results of denoising
4 结论

均值滤波采用线性的方法平均整个窗口范围内的点云数据, 均值滤波本身存在着固有的缺陷, 即它不能很好地保护点云细节, 在去噪的同时也破坏了点云的细节部分, 从而使点云图变得模糊, 去除噪声效果不是很理想。均值滤波对高斯噪声表现较好, 对椒盐噪声表现较差。中值滤波采用非线性的方法, 它在平滑脉冲噪声方面非常有效, 同时它很好地保留了点云的边缘信息, 选择适当的点来替代噪声点的值, 所以处理效果好, 尤其是对椒盐噪声表现较好, 但对高斯噪声表现较差。曲率滤波解决的问题其实是求解变分模型, 相比之前的扩散方法或梯度下降法等, 曲率滤波是从微分几何的角度最小化相关曲率来实现最小化正则项的方法, 是一种不需要计算高斯曲率或者平均曲率的隐式优化方法, 计算效率相对较高。

本文提出的基于加权融合的去噪算法, 集成了三种滤波方法的优势, 取得了比单独使用三种滤波方法更好的去噪效果。对10种常用工具的20个痕迹点云数据去噪结果表明, 既明显降低了去噪误差, 同时对各种工具都能保持着比较均匀的去噪效果, 说明该方法对不同的工具具有良好的鲁棒性。

参考文献
[1] 钟新文. 刍议犯罪工具痕迹利用率偏低的原因及对策[J]. 铁道警官高等专科学校学报, 2006(1): 106-109.
(ZHONG Xinwen. Reflections on low utilization of crime tool traces[J]. Journal of Railway Police Higher Vocational Academy, 2006(1): 106-109. ) [本文引用:1]
[2] 杨敏, 牟丽. 基于特征模型的工具痕迹特征唯一性研究[J]. 刑事技术, 2015, 40(4): 259-262.
(YANG Min, MOU Li. The uniqueness of toolmarks based on theoretical characteristics model[J]. Forensic Science and Technology, 2015, 40(4): 259-262. ) [本文引用:1]
[3] 孙德峰. 现代痕迹检验技术发展的五大趋势[J]. 刑事技术, 2001(6): 50.
(SUN Defeng. Five development trends of modern trace inspection technology[J]. Forensic Science and Technology, 2001(6): 50. ) [本文引用:1]
[4] 刘晋, 禹鹏, 白隽瑄, . 基于三维激光扫描技术的犯罪现场重建[J]. 刑事技术, 2017, 42(6): 476-481.
(LIU Jin, YU Peng, BAI Juanxuan, et al. A survey of crime scene reconstruction based on 3D laser scanning technology[J]. Forensic Science and Technology, 2017, 42(6): 476-481. ) [本文引用:1]
[5] RUSU R B, COUSINS S. 3D is here: point cloud library (PCL)[C]//IEEE International Conference on Robotics and Automation, Shanghai, China: 2011. IEEE, 2011: 1-4. [本文引用:1]
[6] ALDOMA Z, MARTON C, TOMBARI F, et al. Tutorial: point cloud library: three dimensional object recognition and 6 DOF pose estimation[J]. IEEE Robotics Automation Magazine, 2012, 3(19): 80-91. [本文引用:1]
[7] PARK J, KIM H, TAI Y W, et al. High quality depth map upsampling for 3D-TOF cameras[C]//IEEE International Conference on Computer Vision(ICCV), Barcelona, Spain: IEEE, 2011: 6-13. [本文引用:1]
[8] 刘静静. 三维点云重建中的去噪算法研究[D]. 北京: 北京交通大学, 2019.
(LIU Jingjing. Denoising algorithms in 3D point cloud reconstruction[D]. Beijing: Beijing Jiaotong University, 2019. ) [本文引用:1]
[9] DIGNE J, FRANCHIS C D. The bilateral filter for point clouds[J]. Image Processing On Line, 2017, 7: 278-287. [本文引用:1]
[10] ELMOATAZ A, LEZORAY O, BOUGLEUX S. Nonlocal discrete regularization on weighted graphs: A framework for image and manifold processing[J]. IEEE Transactions on Image Processing, 2008, 17(7): 1047-1060. [本文引用:1]
[11] DESCHAUD J E, GOULETTE F. Point cloud nonlocal denoising using local surface descriptor similarity[J]. IAPRS, 2010, 38(3A): 109-114. [本文引用:1]
[12] ZENG J, CHEUNG G, NG M, et al. 3-D point cloud denoising using graph Laplacian regularization of a low dimensional manifold model[J]. IEEE Transactions on Image Processing, 2019, 29: 3474-3489. [本文引用:1]
[13] DINESH C, CHEUNG G, BAJIC I V, et al. Fast 3-D point cloud denoising via bipartite graph approximation and total variation[J]. Proc IEEE MMSP, 2018. [本文引用:1]
[14] 孔德武. 点云数据的三角剖分及计算机三维重建[J]. 西南师范大学学报(自然科学版), 2019, 44(7): 87-92.
(KONG Dewu. Triangulation and computer three-dimensional reconstruction of point cloud data[J]. Journal of Southwest China Normal University (Natural Science Edition), 2019, 44(7): 87-92. ) [本文引用:1]
[15] GONG Y, SBALZARINI I F. Curvature filters efficiently reduce certain variational energies[J]. IEEE Transactions on Image Processing, 2017, 26(4): 1786-1798. [本文引用:2]