基于角膜图像的人体死亡时间推断模型初探
白司悦1, 蔡侃臣1, 周兰2,*, 陈颖1, 万大良2, 周盛斌2
1.南京大学电子科学与工程学院,南京 210023
2.江苏省公安厅物证鉴定中心,南京 210012
*通信作者简介:周兰,女,湖南湘潭人,博士,副主任法医师,研究方向为法医病理学和法医毒理学。E-mail: 53959136@qq.com

第一作者简介:白司悦,女,吉林吉林人,硕士研究生,研究方向为生物医学工程。E-mail: 727698922@qq.com

摘要

目的 尸体角膜随死后时间延长发生的形态学变化是规律性较好的指标,常用来判断死亡时间(postmortem interval, PMI)。本文尝试用机器视觉代替人的肉眼主观判断,收集尸体样本以建立通过人体角膜图像推断PMI的模型。方法 收集实际案例建立包含505例人体死后角膜图像的数据库,PMI范围为0.24h(约死后14min)至492h(约死后20.5d),大致分为三类(依次为:0~<6h、6~<20h、20h及以上)或二类(0~<15h、15h及以上);使用由华盛顿大学陈天奇博士提出的Xgboost模型分别进行二分类与三分类分析;使用多种卷积神经网络模型分别进行分类和回归学习,并通过比较最终选择了由微软研究院提出的ResNet模型进行分析。结果 Xgboost在三分类时预测准确率依次为71.8%、40.7%、65.7%,二分类时为90%、48.5%。ResNet分类模型中,精准率、召回率在三分类时分别依次为:81%、75%,30%、50%,61%、71%,二分类时为:70%、92%,76%、38%。ResNet回归模型中,比较整个模型的预测结果,0~6h内的预测值与真实值较为接近,均值误差为0.5616,均方误差为0.5873,6h之后开始出现较大误差。结论 分类和回归模型都在0~6h之内得到了很好的结果,说明在此时间段内,角膜图像噪声较低,可预测性强。

关键词: 死亡时间(PMI); 角膜图像; 机器学习; 深度学习; Xgboost; 卷积神经网络; ResNet模型
中图分类号:DF795.1 文献标志码:A 文章编号:1008-3650(2021)05-0502-05
A Preliminary Modeling for Postmortem Interval Estimation Based on Corneal Images of Human Corpse
BAI Siyue1, CAI Kanchen1, ZHOU Lan2,*, CHEN Ying1, WAN Daliang2, ZHOU Shengbin2
1. School of Electronic Science and Engineering, Nanjing University, Nanjing 210023, China
2. Institute of Forensic Science and Technology, Jiangsu Provincial Department of Public Security, Nanjing 210012, China
Abstract

The morphological changes of cornea are an important indicator for postmortem interval (PMI) estimation, thus having frequently been used in forensic practice when available. In this paper, an attempt was carried out to estimate PMI from human corneal images through machine vision instead of human visual subjective judgment. Based on routine forensic examination, a PMI database, enclosing 505 corneal images of their respective PMI labeled from 0.24-492h, was established, consequently being roughly divided by PMI into three categories: 0-6h, 6-20h and more than 20h, or two categories: 0-15h and more than 15h. Xgboost, proposed by Dr. CHEN Tianqi of the University of Washington, was used to perform two- and three-category classifications. The convolutional neural network model was also selected to perform both the classification and regression learning. However, ResNet, developed by Microsoft Research Institute, was the final chosen model for analysis because of its outperformance. For Xgboost, its accuracy showed with three-category classification at 71.8%, 40.7% and 65.7%, and two-category classification at 90% and 48.5% in their respective designated PMI categories. For ResNet, the three-category classification contributed its precision rate 81% and recall rate 75% with the first category 0-6h, plus the corresponding 30% and 50% about the second category 6-20h or 61% and 71% for the category 20h and more, respectively. When ResNet was put under the two-category classification, its precision rate was 70% and recall rate 92% for the first category 0-15h, together with the second category more than 15h demonstrating the respective 76% and 38%. For ResNet to play role into regression learning, its predicted numeral was closer to the true value for the 0-6h PMI, with the mean error value 0.5616 and mean squared error value 0.5873, contrasting to large errors appearing after 6h. Therefore, the selected models proved their performance in both classification and regression learning, showing better for the 0-6h PMI estimation because the corneal images in the interval were of low noise and high predictability.

Key words: postmortem interval (PMI); corneal image; machine learning; deep learning; Xgboost; convolutional neural network; ResNet model

死亡时间(postmortem interval, PMI)指发现尸体或检验尸体的时间点与发生死亡的时间点之间的时间间隔[1]。观察角膜混浊程度以推断死亡时间是一种传统而经典的方法, 简单直观, 在实践中应用很广, 也是法医学研究的热点[2, 3, 4]。本文通过基于死后角膜图片本身视觉特征的机器学习和神经网络方法, 建立了新的客观推断人体死亡时间的模型, 并对预测效果进行了评价。

1 材料和方法
1.1 图片样本的获取

常规尸检时由专业法医对尸体角膜拍照, 记录拍照时间和宣布死亡的时间, 计算出PMI, 填写案件信息表, 并与图片一起提交。案例材料汇总后由专业人员对原始图像进行处理, 自动分割出角膜部分图片, 并进行特征提取、模型训练等进一步实验。

本次实验共使用了505具尸体的角膜图像作为数据集, PMI分布及图片示例如图1所示。数据集按照4:1的比例随机划分为训练集(384例)和测试集(121例)。

图1 角膜图像样本的PMI分布及图像示例Fig.1 The PMI-based distribution of images and relevant exampling images

1.2 角膜区域的分割

使用基于阈值的分割方法[5]对灰度化的原始图片进行初步分割。图像处理会受到图像中包含的噪声的影响, 图像中一些与角膜区域拥有同样灰度的噪点会影响阈值划分的效果。为了最大程度降低这些噪声的影响以确保实验的准确性, 本文使用了形态学闭运算[6]来优化图像分割效果。

1.3 角膜参数的提取

参照文献[7]提取以下8个特征:图像颜色的平均值; 颜色在图像上的分布均匀程度; 图像颜色分布的不对称性; 图像纹理光滑程度; 图像纹理清晰程度; 图像纹理的多少和质地; 矩阵中行或列元素之间相似程度; 图像灰度分布均匀性的度量。

1.4 算法介绍

Xgboost也称为极端梯度提升算法[8], 由华盛顿大学陈天奇博士提出, 是目前机器学习领域应用十分广泛的一种算法, 具有高预测准确度、允许数据缺失、可并行多核计算、训练速度快、可进行特征排序等优点。有研究将此方法应用于糖尿病精准预测、手术预后评估、光谱识别等[9], 都取得了很好的结果。

卷积神经网络(convolutional neural network, CNN)[10, 11]是具备卷积结构的深层前馈网络模型, 会模拟人脑不断对输入的图像做分析, 学习它们的潜在特征。其最大的优点在于, 可以直接以原图片作为输入, 有利于最大化地学习到图像的特征。

2 运算步骤和结果
2.1 基于决策树的Xgboost分类模型

实验将数据按照PMI值0~<6 h, 6~<20 h, 20 h及以上进行划分, 使用Xgboost进行三分类实验, 准确率为0.613 9, 具体混淆矩阵如表1所示。

表1 Xgboost三分类混淆矩阵 Table 1 Confusion matrix from Xgboost putting into three-category classification

根据混淆矩阵来计算每一种类别的准确率, 分别为71.8%、40.7%、65.7%。

在三分类的研究基础上, 进行二分类实验。数据按照PMI值0~<15 和15 h及以上进行划分, 准确率为0.736 5。二分类的准确度高于三分类, 根据混淆矩阵计算得到准确率为90%和48.5%。可以看出在短时间精度内, 利用这8个特征参数去估计死亡时间还是比较精确的。

2.2 基于ResNet模型的图像分类学习及对比

选择多种卷积神经网络分别进行二分类和三分类的训练, 准确率对比如表2所示。

表2 卷积神经网络模型分类准确率对比 Table 2 Accuracies resulted from convolution neural network model playing role into classification

表2中可以看出, 在二分类学习中, 由微软研究院首次提出的ResNet模型[12, 13, 14], 设置深度为50, 表现最好, 三分类准确率则普遍偏低。联系实际应用情况, 最终选择ResNet模型进行分析及下一步学习。与其他网络相比, ResNet网络由于引入了残差结构, 尽管增加了网络的深度, 但是不会产生过于严重的梯度退化问题。

ResNet模型在二分类学习中, 第一类0~<15 h的精准率、召回率分别为70%、92%, 第二类15 h及以上为76%、38%。在三分类学习中, 第一类0~<6 h的精准率、召回率分别为81%、75%, 第二类6~<20 h为30%、50%, 第三类20 h及以上为61%、71%。从分类的准确程度比较, ResNet分类模型与Xgboost分类模型相比总体准确率相差不大, 但ResNet分类模型在各个分类上的准确率更加均衡。

2.3 基于ResNet模型的图像回归学习

选择ResNet模型进行回归模型的训练, 随着学习率(learning rate, lr)的变化, 训练集的损失值(loss)曲线如图2所示。对不同lr对应的loss曲线进行比较, lr=5×10-5对应的曲线下降趋势更明显, 波动更小, 收敛效果相对较好, 因此选择了5×10-5的学习率。对于正则项系数以及训练轮次(epoch)的大小, 在经过多次尝试比较结果后, 最终选定正则项系数为3×10-4, 训练轮次为250。

图2 不同学习率下的loss曲线Fig.2 The loss curves under different learning rates

选定超参数后, 对训练集进行训练, 得到回归模型, 并应用于测试集, 最终得到了测试集死亡时间的真实值和预测值两组数据, 比对结果如图3。图中横坐标为测试集中的图片数据的序号, 已经预先将数据按照实际死亡时间升序排列, 纵坐标为死亡时间数值。蓝色曲线为数据实际值, 橙色曲线为模型的预测值。

图3 回归结果比较Fig.3 Comparison of regression results between the predicted and true values

从图3可看出, 在0~6 h的时间范围内, ResNet模型给出的回归预测值与真实值误差较小, 在超过6 h之后精度便随之下降, 尤其是12 h之后预测值开始出现大的波动, 与真实值之间存在着很大误差。0~6 h内预测模型的均值误差为0.561 6, 均方误差为0.587 3, 均方根误差为0.766 3, 误差值远远小于6 h之后预测值的误差。从ResNet回归的结果来看, 其模型效果同之前的Xgboost分类模型结果(表1)和ResNet分类模型结果(表2)类似, 对0~6 h内的有较高的预测精度, 随着死亡时间的继续延长, 受噪声影响增加, 预测误差逐渐增大。

3 讨论

通过对角膜的肉眼观察来推断死亡时间具有一定的主观性。为寻找能较好表征角膜混浊度的量化指标, 学者们研究了角膜离体后的诸多生理化学特性变化, 包括角膜厚度、透光率、内皮细胞活性率、DNA含量及角膜的超微结构变化等, 都取得了较好的结果[15, 16, 17, 18, 19, 20], 表明角膜死后变化与PMI的良好相关性。这些方法需将角膜取下处理, 一定程度上改变了角膜的自然状态和生理特性, 复杂的操作过程产生的人为误差也难以控制, 限制了后续的影响因素研究以及实验室方法在实践中的应用[21]。随着计算机科学技术的进步, 机器学习和深度学习等都取得了长足的发展, 其成果在包括法医学在内的许多学科领域中得到了广泛的应用[22]。本文回到角膜的原位形态学观察, 探索通过机器视觉推断PMI的模型, 在前期动物实验模型[23, 24, 25]的基础上, 收集实际案例人体角膜图像建立样本库, 使用的两种算法均显示了较好的潜力。

本文使用的数据库是目前已知的本类数据库中最大的, 使用的建库和建模方法较为便捷, 在探索研究和实践应用方面均具有积极的意义。后续将在此基础上, 进一步扩大样本量, 优化算法, 并引入外部参数与角膜图像特征进行整合, 形成一个体系, 以期为死亡时间推断系统建立一个可行的范本。

参考文献
[1] HENSSGE C, MADEA B. Estimation of the time since death[J]. Forensic Science International, 2007, 165(2-3): 182-184. [本文引用:1]
[2] AOKI T. Studies on the estimation of time after death[J]. Ji-keikai Medical Journal, 1965(1): 3-18. [本文引用:1]
[3] 方东, 梁耀荣, 陈虎, . 角膜混浊的形成机制及法医学应用进展[J]. 刑事技术, 2007(2): 36-38.
(FANG Dong, LIANG Yaorong, CHEN Hu, et al. The advance on the mechanism of corneal opacity and its application in forensic medicine[J]. Forensic Science and Technology, 2007(2): 36-38. ) [本文引用:1]
[4] BROOKS J W. Postmortem changes in animal carcasses and estimation of the postmortem interval[J]. Veterinary pathology, 2016, 53(5): 929-940. [本文引用:1]
[5] 常锐, 裴海龙. 基于形态学的快速图像搜索与识别算法[J]. 计算机工程与设计, 2007(7): 1575-1577.
(CHANG Rui, PEI Hailong. Algorithm of fast object searching and recognition based on morphology[J]. Computer Engineering and Design, 2007(7): 1575-1577. ) [本文引用:1]
[6] 高薪, 胡月, 杜威, . 腐蚀膨胀算法对灰度图像去噪的应用[J]. 北京印刷学院学报, 2014, 22(4): 63-65.
(GAO Xin, HU Yue, DU Wei, et al. Application of decreasing noise of gray image by corrosion and expansion algorithm[J]. Journal of Beijing Institute of Graphic Communication, 2014, 22(4): 63-65. ) [本文引用:1]
[7] ZHOU Lan, LIU Yan, LIU Liang, et al. Image analysis on corneal opacity: a novel method to estimate postmortem interval in rabbits[J]. Journal of Huazhong University of Science and Technology(Medical Sciences), 2010, 30(2): 235-239. [本文引用:1]
[8] 沈晨昱. XGBoost原理及其应用[J]. 计算机产品与流通, 2019(3): 90.
(SHEN Chenyu. Principle and application of XGBoost[J]. Computer products and circulation, 2019(3): 90. ) [本文引用:1]
[9] 陶孟琪, 刘家祥, 吴越, . XGBoost在气体红外光谱识别中的应用[J]. 光学学报, 2020, 46(7): 201-206.
(TAO Mengqi, LIU Jiaxiang, WU Yue, et al. Application of XGBoost in gas infrared spectral recognition[J]. Acta Optica Sinica, 2020, 46(7): 201-206. ) [本文引用:1]
[10] 周飞燕, 金林鹏, 董军. 卷积神经网络研究综述[J]. 计算机学报, 2017, 40(6): 1229-1251.
(ZHOU Feiyan, JIN Linpeng, DONG Jun. Review of convolutional neural network[J]. Chinese Journal of Computers, 2017, 40(6): 1229-1251. ) [本文引用:1]
[11] 张晴晴, 刘勇, 潘接林, . 基于卷积神经网络的连续语音识别[J]. 工程科学学报, 2015, 37(9): 1212-1217. )
(ZHANG Qingqing, LIU Yong, PAN Jielin, et al. Continuous speech recognition by convolutional neural networks[J]. Chinese Journal of Engineering, 2015, 37(9): 1212-1217. ) [本文引用:1]
[12] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition, 2016: 770-778. [本文引用:1]
[13] 王元东. 基于ResNet模型的图像分类方法及应用研究[D]. 南昌: 华东交通大学, 2019.
(WANG Yuand ong. Research on image classification method and application based on resnet model[D]. Nanchang: East China Jiaotong University, 2019. ) [本文引用:1]
[14] 姜声. 基于ResNet的眼底图像分类及描述[D]. 烟台: 山东工商学院, 2019.
(JIANG Sheng. Classification and description of fundus images based on resNet[D]. Yantai: Shand ong Business and Techno-logy University, 2019. ) [本文引用:1]
[15] SALAM H F A, SHAAT E A, AZIZ M H A, et al. Estimation of postmortem interval using thanatochemistry and postmortem changes[J]. Alexand ria Journal of Medicine, 2012, 48(4): 335-344. [本文引用:1]
[16] PRIETO-BONETE G, PEREZ-CARCELES M D, LUNA A. Morphological and histological changes in eye lens: possible application for estimating postmortem interval[J]. Legal Medicine, 2015, 17(6): 437-442. [本文引用:1]
[17] 朱少华, 方东, 王继承, . 家兔死后不同时间角膜基质胶原纤维的超微结构观察[J]. 中国法医学杂志, 2008(2): 99-101, 46.
(ZHU Shaohua, FANG Dong, WANG Jicheng, et al. An ultrastructural observation of corneal collagen matrix of rabbit in the different time after death[J]. Chinese Journal of Forensic Medicine, 2008(2): 99-101, 46. ) [本文引用:1]
[18] 陈虎, 朱少华, 方东, . 角膜AQP1含量变化与死亡时间关系的法医学研究[J]. 刑事技术, 2007(2): 15-17.
(CHEN Hu, ZHU Shaohua, FANG Dong, et al. An study on the relationship between changes of corneal AQP1 and postmortem interval[J]. Forensic Science and Technology, 2007(2): 15-17. ) [本文引用:1]
[19] 宋国林, 史吉海. 角膜内皮细胞的医学研究及在法医学中的应用前景[J]. 刑事技术, 2001(1): 36-37.
(SONG Guolin, SHI Jihai. Medical research of corneal endothelial cells and its application prospect in forensic medicine[J]. Forensic Science and Technology, 2001(1): 36-37. ) [本文引用:1]
[20] 刘承泉, 熊平. 家兔角膜上皮和内皮细胞DNA含量与PMI关系的图像分析[J]. 法医学杂志, 2003(2): 76-77.
(LIU Chengquan, XIONG Ping. The relationship between the postmortem interval and the changes of DNA content in rabbit's cornea epithelial and endothelium by the computerized image analysis[J]. Journal of Forensic Medicine, 2003(2): 76-77. ) [本文引用:1]
[21] MADEA B. Is there recent progress in the estimation of the postmortem interval by means of thanatochemistry?[J]. Forensic Science International, 2005, 151(2-3): 139-149. [本文引用:1]
[22] 刘志勇, 张更谦, 严江伟. 人工智能在法医学中的应用与展望[J]. 刑事技术, 2019, 44(5): 383-387.
(LIU Zhiyong, ZHANG Gengqian, YAN Jiangwei. Forensic applicability of artificial intelligence and prospect[J]. Forensic science and technology, 2019, 44(5): 383-387. ) [本文引用:1]
[23] LIU F, ZHU S, FU Y, et al. Image analysis of the relationship between changes of cornea and postmortem interval[C]//Pacific Rim International Conference on Artificial Intelligence, Springer, Berlin, Heidelberg, 2008: 998-1003. [本文引用:1]
[24] 符欲晓. 角膜图像特征在死亡时间估计上的应用[D]. 武汉: 华中科技大学, 2009.
(FU Yuxiao. The application of cornea image for estimating postmortem interval[D]. Wuhan: Huazhong University of Science &Technology, 2009. ) [本文引用:1]
[25] 周兰. 基于角膜图像的死亡时间推断研究和中毒死亡案件的调查研究[D]. 武汉: 华中科技大学, 2010.
(ZHOU Lan. Postmortem interval estimation based on corneal image classification & retrospective study on poisoning death in Central China[D]. Wuhan: Huazhong University of Science &Technology, 2010. ) [本文引用:1]