传统的赤足足迹的人身识别大多基于足迹学^[1]领域中提出的各种足迹特征, 比如足迹结构、动力形态等特征, 通过特征分析和融合并结合分类器等方法来进行特征比对和识别。

童丽^[2]基于人工设计的多种足迹区域特征和边缘轮廓特征, 采用最优评价函数及特征选择搜索算法找到最优特征组合, 并利用贝叶斯决策理论来建立概率模型, 实现特征分类识别。高毅等^[3]采用三维重构技术建立立体足迹, 利用图像处理算法与传统的足迹检验法相结合, 提取足迹的区域关系特征和形状长度特征, 并利用主成分分析（principal component analysis, PCA）模式识别方法对提取的特征进行立体足迹身份识别。Khokher等^[4]根据足迹轮廓提取足长等特征, 分析了赤足特征与人身的强相关性。Nakajima等^[5]根据成对的左右脚站立图像, 提取各部位的相互距离、位置、方向等信息并进行归一化, 并结合各部位的压力传感信息来进行足迹识别。

近年来, 随着技术的发展, 深度学习在指纹识别、人脸识别等生物特征识别领域得到了广泛应用。在图像识别领域, 通过深度网络提取的特征在很多领域取代了传统的人工特征, 取得了更好的识别效果。

VGG^[6]、LeNeT^[7]、ResNet^[8]等基于深度学习的网络模型在图像识别等领域得到了大量应用, 实现了图像识别领域的技术突破。大量基于深度网络的人脸识别^[9]、行人重识别^[10]等技术大大提升了各种生物特征在人身识别应用方面的可行性和可靠性。在足迹识别领域, 深度学习也逐渐被加以应用。如王乔^[11]从足底压力图像中通过简单的卷积神经网络（convolutional neural networks, CNN）提取了图像卷积特征, 结合传统的足型与足迹形态特征, 通过支持向量机（support vector machines, SVM）确定了特征最优子集及组合权重, 实现了小范围内的人身识别。

为了解决赤足足迹识别问题, 需要构建一个大型赤足足迹数据库。为此, 本文使用专业的单枚足迹采集仪构建了包括人体左、右脚赤足足迹的大型数据库。共采集了18 380人共计213 252枚单枚足迹, 每人3~54枚足迹不等。采集的足迹图像如图1所示。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 赤足足迹图像Fig.1 Exampling barefoot footprint images

对足迹采集仪采集的赤足足迹进行了如下方式的预处理：

1）将赤足足迹按照脚尖朝上、脚跟在下的方式进行了方向归一化。

2）在保持图像无缩放的状态下, 以足迹中心为基准, 裁剪出399×886像素大小的图像, 并统一归一化至300×660像素大小。

3）对图像灰度进行归一化。

为了进行网络训练和研究, 将数据集进行了如表1所示的训练集、验证集和测试集的随机划分。

表1

Table 1

表1(Table 1)

表1 数据集划分 Table 1 Partitioned dataset 数据集类别 总图片数 人数 每人足迹个数 训练集 74310 6433 3~51 验证集 10831 919 3~48 测试集 128111 11028 3~54

表1 数据集划分 Table 1 Partitioned dataset

网络的总体框架如图2所示。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 网络总体框架Fig.2 Overall framework of the network for operation into deep learning

网络采用ResNet50为基础网络模型。在训练阶段, 基础网络对赤足图像进行特征提取, 随后使用HPM对特征进行分离和重组, 最后对重组的分离特征进行度量学习; 在测试阶段, 同样先通过基础网络对赤足图像进行特征提取并使用HPM进行多尺度特征提取和特征重组, 之后将特征合成4 608维的特征向量, 并使用该特征向量进行特征检索。

网络的层级结构及特征图大小参见表2。

表2

Table 2

表2(Table 2)

表2 网络层级结构及特征图大小 Table 2 Network hierarchical structures and the sizes of feature map 网络层名称 网络层参数 输入特征大小 Conv1 7×7, 64, stride 2 1×300×660 Conv2_x 3×3 max pool, stride 2 64×150×330 1×1, 643×3, 641×1, 256×3 64×75×165 Conv3_x 1×1, 1283×3, 1281×1, 512×4 256×75×165 Conv4_x 1×1, 2563×3, 2561×1, 1024×3 512×38×83 Conv5_x 1×1, 5123×3, 5121×1, 2048×3 1024×19×42 HPM Horizontal Pyramid Pooling 2048×10×21 Separate FC 256-d 18×2048

表2 网络层级结构及特征图大小 Table 2 Network hierarchical structures and the sizes of feature map

为了提升网络的泛化性, 在输入图像上进行了如下多种形式的数据增强, 以扩大样本多样性：

1）上下随机翻转。

2）左右随机翻转。

3）0° ~10° 随机角度旋转。

4）0.8~1.1倍的灰度随机变换。

HPM是行人重识别领域中提出的一种识别技术, 其核心思想是将基础网络提取的特征在高度上进行不同比例的划分, 并基于划分出的特征进行变换和学习, 能够提取图像的多尺度特征, 提升识别效果和网络泛化性。

HPM证实了将图像在高度上进行不同比例的划分, 能够在学习全局特征的同时, 兼顾图像不同高度上的不同尺度的局部特征。相比仅使用传统的全局特征而言, HPM更便于捕获包括局部特征在内的多尺度特征, 而人体赤足足迹的差异在赤足不同部位上的体现更加明显：人体赤足足迹从脚趾到脚跟大体上分为足趾区、足跖区、足弓区、足跟区四个主要区域, 每个人的赤足足迹差别就体现在各个局部区域及它们的组合特征上。

HPM的主体为HPP（horizontal pyramid pooling）和Separate FC两部分, 其中HPP主要包括特征金字塔及GAP（global average pooling）+GMP（global max pooling）。首先将ResNet网络提取出来的H×W×D维的特征在高度H的维度上进行不同比例的划分。这样做的原因在于, 一方面, 抽取从全局到局部的不同比例的特征能够让参与人身比对的特征更加丰富; 另一方面, 从一定程度上缓解了足迹因上下位置错动导致的同一水平线上的特征无法对齐的问题。

在应用中, 将高度为21的特征图分别进行1、2、5、10等分, 得到共计1+2+5+10=18个局部特征。由于在高度上进行划分后的每个特征块的大小不同, 记为h×W×D, 其中h ∈﹛1, 2, 5, 10﹜, 因此, 使用GAP和GMP对每个特征块的h和W维度计算均值和最大值, 并将两者相加, 最终统一得到18个D维的特征向量, 至此, 每个样本得到18×D的特征。其中, 使用均值池化GAP和最大池化GMP的原因在于, 均值池化更多体现的是全局特征, 而最大池化能够突出细节, 因此将两者结合可进一步提升特征保留度。

在HPP提取的特征基础上, 对18个特征向量分别进行全连接变换（separate fully connection）。经上述方式提取的18个特征向量分别对应了图像中不同的感受野, 即足迹的不同区域, 因此每个特征使用独立的全连接变换, 将每个2 048维的特征缩减为256维。

在训练过程中, 将每人18个256维特征中的每一个特征都作为一个单独的人身特征, 与其他人的对应特征进行度量学习; 在测试过程中, 将所有18个256维特征连接在一起作为完整的人身特征进行人身识别。

本文使用batch all triplet loss作为损失函数对特征进行度量学习。每个batch中随机抽取P个人, 每个人抽取K个足迹图像。损失函数公式为：

$L_{B A}(\theta ; X)=\sum_{i=1}^{P} \Sigma_{a=1}^{K} \Sigma_{p=1, p \neq a}^{K} \Sigma_{j=1, j \neq i}^{P} \sum_{n=1}^{K}\left[m-d_{j, a, n}^{i, a p}\right]_{+}$ (1)

$d_{j, a, n}^{i, a, p}=D\left(f_{\theta}\left(x_{a}^{i}\right), f_{\theta}\left(x_{p}^{i}\right)\right)-D\left(f_{\theta}\left(x_{a}^{i}\right), f_{\theta}\left(x_{n}^{i}\right)\right) $ (2)

其中, m为距离容许间隙。该损失函数分别计算每一对同一人足迹间的距离以及不同人足迹间的距离, 目标是同一人足迹的间距足够小, 不同人足迹的间距足够大。在实验中, P=32, K=16（不足时采用重复策略）, m=0.2。

为了对比本文赤足图像人身识别的效果, 除了使用本文论述的方法外, 在基础网络ResNet50不变的情况下, 分别在全局特征上采用Softmax Cross Entropy Loss（基于Softmax的交叉熵损失函数）和 ArcFace Loss^[9]进行了对比试验。

1）Softmax Cross Entropy Loss

Softmax Cross Entropy Loss是深度学习中针对多标签图像分类问题提出的一种常用的交叉熵损失函数, 其计算公式如下：

$P_{n k}=\frac{e^{x_{n k}}}{\sum_{l=0}^{K-1} e^{x_{n l}}} $ (3)

$\text { Loss }=\frac{-1}{N} \sum_{n=1}^{N} \log \left(P_{n l_{n}}\right), l_{n} \in[0, 1, \ldots, K-1]$ (4)

公式(3)是Softmax公式, 其中n代表一个batch中的样本总数, x_n代表第n个样本, k代表某个类别, K代表类别总数, P_nk代表x_n属于第k个类别的概率。

公式(4)就是交叉熵函数。N表示mini-batch的样本数, l_n代表类别标签。将公式(4)中的P_nk代入公式(4), 替换其中的Pnl_n, 就得到了一个mini-batch中所有样本对应的总的交叉熵损失。

2）ArcFace Loss

ArcFace Loss是人脸识别方向提出的一种用于提高类间可分性同时加强类内聚度的分类损失函数, 在图像识别领域得到了广泛应用。其公式如下：

$\text { Loss }=\frac{-1}{N} \sum_{i=1}^{N} \log \frac{e^{s\left(\cos \left(\theta y_{i}+m\right)\right)}}{e^{s\left(c o s\left(\left(y_{i}+m\right)\right)\right.}+\sum_{j=1, j \neq y_{i}}^{K} e^{\operatorname{scos} \theta_{j}}}$ (5)

其中, N表示mini-batch的样本数, s表示特征是分布在一个半径为s的超球体上, m是附加的边界惩罚, K代表类别总数。

本文实验硬件方面采用了2个GTX 2080Ti显卡, 软件方面采用pytorch1.7+Cuda10。深度学习训练时的mini-batch采用（P, K）=（32, 16）, 即每次抽取32人的足迹图像进行比对, 每人16张足迹图片（图片不足时重复抽取）, 共进行150 000次迭代并最终收敛。训练采用固定学习率0.000 1。

将本文方法与两种对比算法进行比较, 得到的对比实验结果见表3。

表3

Table 3

表3(Table 3)

表3 实验对比结果 Table 3 Comparison among the results of experiment 模型+损失函数 数据集 Rank-1 Rank-5 Rank-10 mAP ResNet50+softmax– CE Loss val 0.967775 0.990859 0.994552 0.834839 test 0.874712 0.963804 0.978002 0.599834 ResNet50+ArcFace Loss val 0.969806 0.991597 0.993813 0.829952 test 0.867792 0.961449 0.979669 0.582488 ResNet50+HPM+Separate Triplet Loss (ours) val 0.989890 0.993584 0.99638 0.909951 test 0.962264 0.977884 0.989889 0.763806

表3 实验对比结果 Table 3 Comparison among the results of experiment

从三者的对比结果可见, 本文介绍的HPM+ Separate Triplet Loss在赤足足迹的人身识别准确率上远超其他两种算法。从Rank-1到Rank-10指标均高于其他两种算法, 其中Rank-1有10%左右的提升, 且mAP指标也体现出了绝对的算法优势, 从而进一步证明了本文方法在赤足识别上的有效性。