文中所指高光条件下的视频人像(下称“ 高光人像” ), 主要指夜间及其他低照度环境下, 出现强光照射人像, 导致视频人像的部分细节丢失的情况。目前, 监控摄像系统一般都具有普通监控模式和夜间红外监控模式。在光照条件良好情况下为普通监控模式, 监控画面为环境的彩色图像; 在照度较低条件下, 转换为红外监控模式, 利用场景对红外线的吸收、反射差异, 监控画面为环境的红外灰度图像。图1为同一摄像机、相同实验对象分别在普通监控模式下和红外监控模式下形成的高光人像。可以看出, 人像受高光影响导致左、右脸反差大, 丢失了面部细节, 将直接影响侦查人员对人像的研判。图1左图的彩色图像相较于右图的红外灰度图像, 含有更多的色彩信息, 可分别展开研究。

图 1

Fig.1

	Figure Option ViewDownloadNew Window
	图 1 普通拍摄模式下彩色图像（左）和红外拍摄模式下灰度图像（右）Fig.1 Color image in normal mode (left) and gray image in infrared mode (right)

视频人像是连续的过程, 受到行走姿态、动态光照的影响, 在不同的时刻进行视频关键帧的提取将直接影响后续的图像处理或重建效果, 其处理流程如图2所示。在人像视频中挑取成像质量相对较好、光照影响相对较小、尺寸较大的关键帧图像, 将人像剪裁出合适的尺寸, 使用图像处理技术进行高光人像增强处理, 对增强后的人像实现基于超分辨率的人像重建^{[4, 5]}, 重建人像仅仅重建了人像五官的核心部分, 还需要将重建人像与原始关键帧人像进行合成处理, 并对合成图像进行直方图调节等方法的图像处理, 以达到改善视频人像视觉效果的目的。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 视频人像处理流程Fig.2 The flow chart for processing video portrait

2.1 普通监控拍摄模式下高光人像处理

通过对人像视频的分析, 截取效果较好的彩色人像图像, 如图3最左侧图, 实验对象的右侧面部受高光影响严重, 细节严重丢失。为了重建图像, 在“ 警视通影像分析平台” 上进行了实验研究工作。首先, 直接对关键帧截图进行人像重建、合成, 然后对关键帧截图先进行图像增强处理, 在空域内选用曲线调节和直方图伽马调节的方法, 增强处理后再进行人像重建、合成, 并按图2所示流程图进行改善处理, 改善效果及相关核心调节参数如图3。在频域内, 选用布莱克曼窗高通滤波^[6]和同态滤波^[7]的方法, 人像重建、合成后的效果及相关核心参数如图4。

图 3

Fig.3

	Figure Option ViewDownloadNew Window
	图 3 空域内视频人像处理情况。从左至右：关键帧截图、直接重建图像、曲线调节重建效果、直方图伽马调节重建效果、曲线调节核心参数、直方图伽马调节核心参数。Fig.3 Video portrait processing in spatial domain. From left to right: key frame, the directly reconstructed image without processing, the reconstructed results of curve adjusting, the reconstructed results of gamma correction, the parameters of curve adjusting, and the parameters of gamma correction.

图 4

Fig.4

	Figure Option ViewDownloadNew Window
	图 4 频域内视频人像处理情况。从左到右：布莱克曼窗高通滤波重建、同态滤波重建、布莱克曼窗高通滤波参数、同态滤波参数。Fig.4 Video portrait processing in frequency domain. From left to right: the reconstructed results of Blackman window high pass filter, the reconstructed results of homomorphic filtering, the parameters of Blackman window high pass filter, the parameters of homomorphic filtering.

2.2 红外监控模式下高光人像处理

红外监控模式下, 彩色图像转换为红外灰度图像, 视频人像丢失了色彩信息, 按图2所示流程进行人像直接重建, 效果如图5所示, 中间两图为首先在空域内分别利用曲线调节和直方图伽马调节, 然后再进行人像重建处理的效果; 右边两图为频域内分别利用布莱克曼窗高通滤波和同态滤波处理后, 进行人像重建处理的效果。增强处理的核心参数与图3、图4中基本一致。

图 5

Fig.5

Figure Option ViewDownloadNew Window

图 5 灰度人像处理后重建效果。 从左到右：关键帧截图、直接重建图像、曲线调节重建效果、直方图伽马调节重建效果、布莱克曼窗高通滤波重建效果 、同态滤波重建效果。Fig.5 Reconstructed effect of grayscale video hunman image. From left to right: key frame, the image directly reconstructed without processing, the reconstructed results of curve adjusting, the reconstructed results of gamma correction, the reconstructed results of Blackman window high pass filter, and the reconstructed results of homomorphic filtering.

高光人像是视频人像分析中常见的情况, 通过对高光人像处理的实验, 可以在以下几个方面有所启发：（1）高光人像的面部细节丢失, 其主要影响因素为光照。首先在空域内或频域内对人像进行高光抑制, 然后进行人像重建、合成等处理, 相较于直接对原图进行重建、合成, 效果改善更加显著。（2）从处理效果来看, 在频域内使用不同方式高通滤波或同态滤波对原图人像进行亮部抑制和暗部提升, 人像重建合成效果更好。（3）相比彩色视频人像, 红外灰度图像色彩丢失, 因此需要在曲线调节或者伽马校正处理后再用高通滤波器进行进一步锐化增强, 提升效果。（4）灰度图像在某些时候视觉改善效果比彩色图像更加明显, 工作中, 可适当将彩色图像转换为灰度图像进行对比分析。