使用的Artec Spider是一款手持使用的拍照式3D扫描仪, 其采用的是结构光技术, 依据光学传感测量原理, 投影模块先将一系列编码光栅投影到物体表面, 再由采集模块捕获相应被调制的光栅图像, 然后通过特有的算法获取高密度点云数据的三维坐标^[5]。在获得物体表面的空间坐标后, 通过计算机来进行图像配准、光顺合成以及细节编辑, 重建出人脸的三维模型, 最后以三角面片网格为单元贴上扫描时同步获得的纹理图像^[6], 从而得到处理后的三维人脸图像(见图1)。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 三维扫描数据。从左到右:原始三维数据、预处理后结果、加上纹理结果。Fig.1 3D Data. From left to right: original 3D scanning data, pre-processed image, and textured image.

这种照相式3D扫描设备的特点是:(1)光学传感。使用白色和蓝色的发光二极管(LED)作为光源, 非接触式测量和捕获图像, 对物体表面不会造成伤害; (2)测量精度高, 深度信息可达微米级别。每个采集样本约包含3000~5000万个网格, 可捕获到人脸部细小特征的三维数据, 即使简化网格后加上同步捕获的高分辨彩色图像, 仍可清晰的再现人脸皮肤的皱纹及毛孔; (3)对复杂曲面可以分区域连续测量。手持式3D扫描仪可灵活的多角度移动, 更适合采集人脸各结构各部位表面的深度数据和纹理数据; (4)捕获的同时利用参考点拼接技术可进行曲面自动配准, 也方便操作者实时观察采集效果, 及时调整扫描范围; (5)对环境要求较低, 采集现场只要具备交流电源, 明视环境下即可进行操作; (6)对黑色及透明材料有限制, 不能捕获被采集者的黑色头发及面部较浓密的黑色毛发。

采集设备进行三维扫描的过程是一个实时曲面配准的过程。尽管这一过程有一定的鲁棒性, 但是扫描对象的姿态变化很容易干扰配准的准确度^[7]。因此在采集三维人脸图像前应和被采集人进行必要的沟通, 防止采集过程中因被采集人说话或移动导致配准失效而中断操作。

为了在保证数据质量的同时减少重复数据量, 使用手持式3D扫描仪时, 需要按照一定的移动顺序对人脸图像进行撷取^{[8, 9]}。采取的扫描顺序(见图2)是从被采集人的一侧耳部开始, 上下S型经鼻面部向另一侧耳部移动, 然后向下采集下巴被遮挡部位的图像, 最后回到开始的部位完成扫描(单帧曲面范围90mm× 70mm~180mm× 140mm)。这样做的好处, 一是不会遗漏采集部位; 二是符合人脸面部结构特点, 如果采用横向S型扫描则要多次经过鼻翼两侧, 这就增加了扫描难度; 三是固定了采集顺序, 在预处理时可以快速找到需要修改或删除的某一帧或几帧图像。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 面部扫描顺序Fig.2 Scanning path

对耳朵、鼻翼两侧、下唇至下巴中间结构比较复杂的曲面, 在采集时, 可以采取小角度变换扫描仪打光角度。对下巴的采集, 可以将扫描仪从下方尽量接近被采集人身体并向上打光, 以减少由于遮挡形成的空洞。

因手持式3D扫描仪的便携特点(≤ 1kg), 采集现场只要具备交流电, 在明视照度下即可进行操作, 所以非常方便在非实验室环境进行采集。

采集到的原始数据是一个曲面帧集合, 根据采集时间、帧速率的不同包含400~1500个曲面帧数据。将这些数据合成一个完整的三维人脸图像之前需要一系列的模型处理。主要包括:整体配准、光顺合成、补洞、小型对象过滤、简化网格以及纹理映射等步骤^{[7, 10]}。对于大部分一次性采集完成且自动配准较好的数据, 使用上述自动处理都能够取得良好效果。但由于光照条件的细微变化、脸部皮肤的光滑程度不同, 或者曲面结构相互遮挡等因素, 一些模型自动处理的结果并不理想, 如图3左所示, 自动配准造成了明显的裂纹。这不但会影响视觉效果, 还对后期的深入应用造成干扰^[11]。这就需要经过人工干预配准获得理想的效果(见图3右)。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 原始数据处理结果。左:自动预处理出现裂纹; 右:人工干预后消除裂纹。Fig.3 Processed Data. Left: cracks appeared in auto-processing; right: repaired by manual intervention.

人工干预配准主要包括三个步骤:

第一步要先找出自动配准不理想的帧或帧集合, 将其选取移出成为新的帧集合。如图4所示, 计算机在自动配准扫描图像时出现了较大的偏离(见图4左), 这就要对偏离的曲面进行人工筛选, 生成新的帧集合(见图4右)。有的采集图像可能包含多个曲面的图像, 分离出不止一个帧集合, 可根据具体的采集结果分离出二个或二个以上的帧集合, 每个帧集合应保持在一个连续的曲面内且互相包含重合区域。

图 4

Fig.4

	Figure Option ViewDownloadNew Window
	图 4 自动配准和人工筛选Fig.4 Auto-registration and manual selection

第二步是在分离出的帧集合之间进行特征对齐, 即在需要拼合的两部分帧集合上标记多个特征比较明显的相同部位(同名点), 例如眼角、嘴角、耳廓、鼻尖、鼻翼等部位(见图5)。如果分离图像没有共同的明显的特征, 也可以通过人工交互移动待配准的帧集合与参考帧集合尽量对齐重合, 其重合精度主要依赖人眼。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 同名点标注。左:取3个以上的同名点; 右:特征对齐。Fig.5 Marked homonymous points. Left: over 3 homonymous points selected; right: align markers

第三步是自动拼接网格。如果把“ 特征对齐” 理解为对分离图像的“ 粗拼” , 那么“ 拼接网格” 即是对分离图像的“ 细拼” 。在自动拼接网格的基础上再“ 允许图像纹理拼接” , 这样就得出人工拟合后的三维图像, 后续可以重复整体配准和光顺合成的过程, 达到更好的处理效果。

另外, 人工干预也可以通过删除个别帧图像以获取较好的图像质量。例如图6就是通过删除单帧, 来修补眨眼造成的闭眼图像。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 通过删除单帧修补Fig.6 Inpainting image by remove single frame

由于光照条件的变化或者扫描过程中偶然出现的不稳定移动, 可能会对采集的三维人脸图像质量造成影响, 自动配准和人工干预后仍由此可见会出现裂纹或者其他不理想的质量问题(约占5.3%)。这种情况下可以通过2D/3D擦除、修补和光滑处理来改善, 但是应尽量减少图像插值的处理, 以免改变或消除人脸面部皮肤的原始细节特征。

除此之外, 对三维图像的编辑还包括坐标变换、数据擦除、网格简化等, 对纹理图像的编辑包括亮度/对比度调整、色调、色饱和度以及图像灰度校正等。

使用的3D扫描仪的帧速率为7.5fps, 采集一个样本的平均耗时在80~110s之间。为了说明采集帧数与图像质量的关系, 记录预处理过程中的部分数据。按照“ 优质、良好、一般” 将处理前后的图像质量评价为三个等级, 并按照采集帧数分类得出以下数据关系(见表1)。

表1

Table 1

表1(Table 1)

表1 采集帧数对图像质量的影响 Table 1 Effect in image quality arising from frame number 采集帧数 采集图像 质量 处理后 质量 平均处理 时间(s) 人工干预 500帧以下 51.35% 67.57% 529.8 5.41% 500~700帧 76.43% 94.64% 695.3 6.25% 700~900帧 62.41% 94.33% 858.9 19.86% 900帧以上 31.43% 80.0% 1226.8 48.57% 注:“ 采集图像质量” 和“ 处理后质量” 的百分比为:优质图像数/图像总数

表1 采集帧数对图像质量的影响 Table 1 Effect in image quality arising from frame number

由此可见, 采集图像在500~700帧范围内的三维人脸图像的质量最好, 需要人工干预处理的样本数较少, 平均处理的时间也较短。700~900帧的图像需要较多的人工干预, 但是预处理后也可以得到较高的图像质量。900帧以上的图像采集质量较一般, 但是经预处理后图像质量有较大幅度提高, 只是处理耗时较长。而500帧以下的图像质量在预处理前后都很难获得高质量的图像效果。