本文通过总结多起疑难案事件视频分析的经验, 借鉴数据分析的技术思路和方法, 提出在视频分析过程中首先选择与案事件密切相关的视频内容, 将能反映案事件变化的关键视频内容进行数据量化^[3], 建立起视频内容变化与视频颜色空间参数数据变化之间的联系, 后续分析提取颜色空间中最能表征数据变化的参数, 最后在数据层面进行视频内容的分析, 根据数据分析的结果, 反映案事件视频内容的变化。

本文提出的视频数据分析算法流程图见图1, 通过python编写相关代码实现并进行实验验证。

图1

Fig. 1

	Figure Option ViewDownloadNew Window
	图1 视频数据分析算法流程图Fig. 1 Flowchart of algorithm about video data analysis

颜色空间是用一组数值来描述颜色的数学模型, 常见的颜色空间包括RGB、CMY、HSB、HSL、Lab、YUV、GRAY等。

按照视频数据分析流程, 视频内容分析需要选择提取颜色空间的参数数值, 本文选择视频中常见的RGB、HSB、HSL、YUV以及GRAY颜色空间中的多个参数进行了统计分析, 统计一段时间内所选参数在感兴趣区域中的平均值和最大值, 将其作为选择参数对应该视频内容变化的响应均值和响应峰值。

分析实验选择某火灾模拟实验视频, 选择视频的暗部、灰部和亮部进行了对比实验, 视频暗部区域选择参数及对本实验视频内容变化的敏感程度见表1, 数据对比图见图2。

表1

Table 1

表1(Table 1)

表1 不同颜色空间选择参数分析表 Table 1 Parameters selected to reflect different color spaces 颜色空间 分析参数 响应 均值 响应 峰值 敏感度 GRAY Gray 165.30 209.47 0.267 HSB B 172.58 215.37 0.248 RGB Mean（RGB） 165.94 210.12 0.266 HSL L 165.59 210.76 0.273 YUV Y 151.46 165.10 0.090 RGB R 159.74 212.87 0.333 G 167.09 207.79 0.244 B 170.99 210.68 0.232 注：本文将“ （响应峰值-响应均值）/响应均值” 作为某选择参数对视频内容变化的敏感度, 优先选择敏感度大的参数, 有利于后续数据分析。

表1 不同颜色空间选择参数分析表 Table 1 Parameters selected to reflect different color spaces

图2

Fig. 2

	Figure Option ViewDownloadNew Window
	图2 不同颜色空间参数曲线对比图Fig. 2 Comparison among parametric curves of different color spaces

根据统计实验结果分析可知在数据分析时, 选择不同颜色空间的参数, 对视频内容变化的表现程度不尽相同, 各参数对视频暗部、灰部和亮部的敏感度排序大体一致, RGB颜色空间的R参数、HSL颜色空间中L参数的敏感度一般效果较好, YUV颜色空间中的Y参数的敏感度变化浮动较大, 在实际案例分析中颜色空间参数的选择可参考本次实验统计分析结果。

本文提出的视频数据分析方法, 主要针对一些疑难视频的分析, 如拍摄距离远、拍摄角度偏、视频质量低、视频变化微弱不明显等的情况。视频分析人员无法直接从视频中观察到案事件的变化, 但经过逻辑推理可以预测视频颜色空间的参数值会产生变化, 通过分析该参数的时间序列变化规律, 实现对视频内容的时空^[4]和逻辑等分析。

2.1.1 案例简介

2020年1月, 为研究火场视频的变化规律, 在天津消防研究所开展一系列火场模拟实验^[5]。案例一视频选择海康DS-2CD2326DWDA1-Ⅲ 型号的摄像头录制的一段起火过程视频作为分析对象, 选择的实验视频共计875帧, 帧率为25 fps。

本实验场景设置为通过引线点燃模拟卧室, 现场环境布置了床、衣柜和部分床上用品等模拟实际居家环境, 现场模拟图见图3。

图3

Fig. 3

	Figure Option ViewDownloadNew Window
	图3 火场模拟实验现场图Fig. 3 Scene of a simulated fire experiment

2.1.2 数据分析

按照视频数据分析算法流程, 选择非起火点位置（^{[193, 280]}, ^{[326, 384]}）矩形框区域作为数据分析的兴趣区域, 模拟拍摄角度偏和光线微弱、变化不明显的情况。

提取区域内RGB颜色空间的R参数的数据进行分析, 正常状态下参数值约为139左右, 在420帧参数值突变至180左右, 420~540帧参数值出现剧烈波动, 参数值的最大值出现在453帧为190.42, 分析着火点区域可知实际起火时刻为419帧, 数据曲线见图4, 着火点时刻与非着火点区域数据分析结果一致, 本模拟实验中借助该数据分析方法可以有效确认起火时刻。

图4

Fig. 4

	Figure Option ViewDownloadNew Window
	图4 案例一视频 RGB-R曲线图Fig. 4 RGB-R curve of video data about case 1

2.2.1 案例简介

案例二视频为某坠落事故现场, 拍摄距离远, 无法看清事故发生位置的详细情况。在未做任何视频增强处理的情况下, 难以观察到坠落时事故点视频的内容变化, 在使用视侦通进行慢速放大等视频增强处理后播放事故视频, 隐约可见事故发生时事故点出现一个亮块, 无法看清亮块内容, 怀疑出现第三人造成人员坠落, 本案例视频共计2 854帧, 帧率为25 fps, 事故现场图见图5。

图5

Fig. 5

	Figure Option ViewDownloadNew Window
	图5 事故现场图Fig. 5 Scene of one accident investigated

2.2.2 数据分析

按照数据分析算法流程, 数据分析选择坠落点位置亮块附近的（^{[5, 320]}, ^{[15, 337]}）区域, 提取区域内RGB颜色空间R参数的数据进行分析, 观察到坠落时出现的亮块在2 490帧左右, 分析整个视频数据时间序列曲线, 按照参数值大于160为亮块的标准统计, 共计出现7次亮块反应, 坠楼时间点出现的亮块不具有特异性, 可以看出现场环境光线变化较为复杂, 数据曲线见图6, 综合事故现场其他证据可以得出结论：此事故现场出现第三人导致人员坠落的可能性较小。

图6

Fig. 6

	Figure Option ViewDownloadNew Window
	图6 案例二视频RGB-R曲线图（a：坠落时刻RGB-R参数曲线; b：RGB-R参数数值大于160）Fig. 6 RGB-R curve of video data about case 2 (a: RGB-R parametric curve at the moment of falling; b: RGB-R parametric values greater than 160)

2.3.1 案例简介

案例三视频为某火灾视频, 火灾发生位置在摄像头拍摄区域之外, 仅可通过部分区域的反光现象间接反映火灾位置的光影变化, 影像变化十分微弱。火灾发生前起火位置的光线变化, 可以从侧面揭示起火房间的人员活动过程, 本案例选择的视频片段共计2 993帧, 帧率为25 fps, 案件现场图见图7。

图7

Fig. 7

	Figure Option ViewDownloadNew Window
	图7 案件现场图Fig. 7 Scene of the case investigated

2.3.2 数据分析

按照数据分析算法流程, 选择视频中反光变化明显的中心区域点^{[536, 863]}作为分析点（坐标± 1像素平均值代表单点）, 提取区域内HSL颜色空间L参数进行数据分析, 分析结果见表3, 并根据数据的变化情况进行了行为的预测, 数据曲线见图8。

表3

Table 3

表3(Table 3)

表3 案例三 HSL-L数据分析表 Table 3 Data analysis about case 3 序列帧 均值 标准差 行为预测 1~1387 75.8 2.57 单光源 1388~2343 85.8 5.04 多光源+人员活动 2344~2465 67.1 2.09 关闭光源 2466~2538 95.7 4.19 开启光源 2539~2993 67.1 0.96 关闭光源

表3 案例三 HSL-L数据分析表 Table 3 Data analysis about case 3

图8

Fig. 8

	Figure Option ViewDownloadNew Window
	图8 案例三视频HSL-L曲线图Fig. 8 HSL-L curve of video data about case 3