目前常用的采集三维人脸数据的方法有三种, 即基于多视角几何信息的方法、基于结构光的方法和基于三维扫描仪的方法。其中CMU的FIA数据库是基于多视角几何信息的方法建立的^[3], 具体是用6个摄像机从3个不同角度获取20s的视频信息, 对于人脸数据的三维信息用计算机视觉的方法进行恢复。这类方法有较明显的不足, 即没有对视频中的人脸进行标定, 而是用复杂的人脸跟踪算法重构人脸的形状信息, 所以对人脸跟踪效果的好坏对最终效果有重要影响。基于结构光的方法是用一个照相机和放映机获取人的3D坐标信息, 这类方法的优势是获取的样本坐标信息精度高, 不足是某些部分的三维信息无法获得, 如面部的眼睛、阴影部分等, 会造成面部曲面形状的不完整, 3D-RAM是基于结构光的方法建立的三维人脸数据库^[4]。随着三维人脸数据采集技术的发展, 三维扫描仪成为主流的采集设备, 使用它获取的人脸部的形状和纹理信息更为精确。北京工业大学采用Cyberware 3030RGB/PS激光扫描仪获得BJUT-3D数据库中的三维人脸数据^[5]。

由于对三维人脸相关技术的研究需要三维人脸数据库做支撑, 所以建立高质量的三维人脸数据库非常有意义, 特别是高质量的彩色三维人脸数据库。

国外在这方面探索较早, 已经出现了规模不大的三维人脸数据库, 比较典型的是Vetter等人建立的MPI人脸数据库^{[6, 7]}。MPI人脸库是使用激光扫描器(Cyberware TM)创建的。目前该数据库只用来提供科学研究用途, 西安交通大学的付昀等人通过签署授权协议获得了这个人脸库的使用权。授权得到的MPI人脸库包含200个中青年人脸图像, 其中男女各100人, 每个人有7张视图呈不同角度, 共有1400张人脸图^[8]。库中人脸图像去除任何装饰物, 如眼镜等, 并消除了与研究无关区域, 如颈部以下两耳以外的区域。

MPI人脸数据库在计算三维人脸的稠密对应方面使用了光流方法, 建立了三维人脸Morphable模型, 实现了针对人脸图像的三维人脸自动重建方法。但是该方法也存在不足, 比如人脸对应效果不理想、人脸模型复杂导致运算量非常大等, 距实际应用还有相当距离。图1显示了MPI人脸库中一女一男在5个不同视点下的灰度图像。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 MPI人像库中不同视点下的人脸图像[8]Fig.1 Face image of different view in MPI[8]

国内在创建三维人脸数据库方面, 北京工业大学的BJUT-3D最具代表性。他们采用激光扫描仪(Cyberware 3030RGB/PS)获取三维人脸原始数据, 是真正意义上的三维人脸库。其数据库数据量较大, 包含1200个中国人的三维人脸数据^[9], 表情均为中性, 对外公开发布的有500人, 其中男女各250人, 年龄在16~49岁之间, 扫描后的数据包括空间几何信息和彩色纹理信息。图2是扫描后的三维人脸及其对应的几何、纹理信息。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 三维扫描数据[5]。A:三维人脸; B:几何数据; C:纹理图像。Fig.2 3D data[5]. A: 3D image; B: geometry data; C: texture image.

使用彩色手持三维扫描仪(Artec Spider)获取三维人脸原始数据(见图3)。选择使用该设备采集数据有以下几个考虑:一是该设备体积小、重量轻, 携带方便, 适合外出采集数据; 二是操作简便, 可以实时连续扫描, 不用拼接, 同时获取表面颜色, 效率高; 三是精确度高, 点分辨率为0.1mm, 可以扫描细节特征, 误差精度为0.03mm, 适合扫描小型物体。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 Artec SpiderFig.3 Artec Spider

由于是手持设备人工扫描, 对采集者操作扫描仪要求较高, 在大规模数据采集前, 采集者需要通过一定的练习才能够熟练使用该扫描仪。总结采集过程的注意事项和经验如下:一是扫描仪工作距离范围小, 为0.17~0.35m, 实际采集时对距离的控制至关重要, 扫描仪与被扫描者的脸部距离过大或者过小都会影响正常采集。扫描仪离人脸太近, 数据捕捉不到; 离人脸太远, 人脸表面噪点太多, 会使三维模型处理复杂化而影响最终结果, 最优的距离是当扫描仪在不经过剖切面时, 在距离范围内与人脸尽可能的近些。在扫描过程中, 当自动实时拼接不可能, 即无法使当前帧与先前帧拼接, 就会发生声音提醒, 直到扫描仪及时回到原来位置且计算机软件在三维中找到这个位置为止。二是在扫描过程中, 采集者眼睛应该盯着连接扫描仪的电脑屏幕而不是被扫描者的脸部, 通过屏幕上的显示距离和扫描部位的变化能更好地控制扫描距离, 并且及时观察扫描的效果而做出相应调整。三是数据采集主要是人的面部区域, 因此采集前, 要求被扫描者不能化妆、不戴眼镜等饰物, 露出面部五官等脸部特征。在一个合适的光强度环境下, 要求被采集者坐在高度适中的椅子上, 身体坐正, 保持中性表情, 眼睛平视前方, 在整个扫描过程中要求被扫描者保持头部不动, 表情不发生变化, 扫描脸部正面时眼睛尽量不眨。四是扫描时使扫描仪正对(90º )人脸采集面, 通过预览调整好扫描仪与被扫描者的距离后, 脚步随着采集区域的移动而缓慢移动, 从耳朵一侧起始呈S型顺序扫描到另一只耳朵, 最后扫描下巴回到起始处, 这个路径既可以包含整个人脸信息又相对节省时间。整个过程保持动作相对平稳, 不要发生大的抖动。为了保证扫描人脸数据质量, 对于某些光不易扫描到的部位如结构复杂的耳朵, 对于光反射较差的部位如眉毛, 要在扫描时适当多停留一些时间并稍微变换些角度。图4分别是扫描后的三维人脸及其预处理后几何图像、加纹理后的图像。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 三维扫描数据。从左到右:原始三维数据、预处理后结果、加上纹理结果。Fig.4 3D Data. From left to right: original 3D scanning data, pre-processed image, and textured image.

由于国际上公开的三维人脸库较少, 能够同时提供深度信息和纹理信息的更少。这里只与北京工业大学的BJUT-3D比较(见表1)。

BJUT-3D是目前国际上最大的中国人三维人脸数据库, 采用的Cyberware 3030RGB/PS在记录几何信息方面使用柱面坐标^[10], 扫描精度为360º 圆周方向的489个采样点, 在轴方向上为0~300mm的478个采样点, 它的扫描范围在260~340mm之间。每一个几何采样点都有一个纹理像素点与其对应, 纹理图像大小为489× 478像素。Cyberware扫描仪获得的数据精度相对较高, 一个人的原始数据大约由200 000点和400 000个三角面组成。

数据库使用Artec Spider采集人脸的几何信息和纹理信息。扫描仪是人工操作, 所以采样点不是固定设置参数, 人脸大小、脸型等因素影响采集的时间和最后的数据量, 但是采集点数一般有2000多万。把头部近似看成一个圆柱, 扫描圆周方向从耳朵一侧到另一侧, 轴方向额头顶部至脖子范围, 扫描仪与被采集者距离在170~350mm之间。人脸纹理信息以bmp格式存储, 大小为4096× 4096像素。人脸数据精度主要体现在扫描点和三角面片数目上, 采集的人脸数据点和三角面可以达到千万级, 一般点在2000多万, 三角面4000多万, 精度比BJUT-3D更高。在后期预处理过程中, 为了加快处理速度, 在保证人脸精度的情况下可适当简化网格。图5是Artec Spider和BJUT的设备采集的两个三维人脸图像比较。可以看出, 本研究的扫描数据分辨率更高, 纹理、细节等信息更明显, 更真实地反映被采集者的人脸信息。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 三维数据比较。左:本研究采集结果; 右:Cyberware 3030RGB/PS采集结果。Fig.5 Comparison of 3D data. Left: our result; right: captured by Cyberware 3030RGB/PS.

表1

Table 1

表1(Table 1)

表1 BJUT-3D数据和本研究数据比较 Table 1 BJUT-3D data and data from our research 采集设备 距离(mm) 点数(万) 面数(万) 纹理像素 BJUT-3D Cyberware 3030RGB/PS 260~340 20 40 489× 478 本研究 Artec Spider 170~350 2000 4000 4096× 4096

表1 BJUT-3D数据和本研究数据比较 Table 1 BJUT-3D data and data from our research

扫描人脸时, 有些部位不容易完整采集, 如耳朵、下巴、鼻翼两侧等, 捕捉不到的三维人脸信息以空洞形式存在, 人脸局部不光滑会产生毛刺, 需要使用整体配准、光顺形式合成、小型对象过滤、补洞和简化网格等预处理方法弥补三维人脸上的空洞并去掉毛刺。对于绝大部分一次性扫描完成的采集较好的数据, 使用上述方法能够取得良好效果, 对于少数因为采集时距离控制不好或者被采集者发生较大抖动造成人脸错位和闭眼等情况的数据, 需要先对形成人脸数据的面片进行人工筛选, 将某些不理想的面片去除, 然后再对数据进行整体配准、光顺形式合成、小型对象过滤、补洞和简化网格等预处理, 最后进行加彩色纹理信息操作。

使用彩色手持三维扫描仪完成了1100份高精度三维人脸图像数据的采集, 并用配套的软件进行了后处理, 得到的数据能够比较精确的反映出人脸细节特征如眼、鼻、嘴唇等的细节结构。这些信息有助于下一步对人脸五官特征进行精确定位、测量和分类等, 加上后续的统计分析, 将为解决人脸概率分布、量化特征抽取、三维人脸建模等问题提供坚实的数据基础, 从而推动人脸识别、比对等技术从二维向三维的发展。