常见的色彩恒常算法模型均基于Lambert反射模型建立。Lambert反射模型将物体表面的反射类型视为漫反射, 公式为:

$f_{c}(x)=m(x) \int_{\omega} I(\lambda) \rho_{c}(\lambda) S(x, \lambda) d \lambda $ (1)

式(1)中, ƒ _c(x)代表图像坐标x处像素的c(c∈ {R, G, B})通道取值, m(x)代表Lambert阴影系数, I(λ )代表光源的色彩, ρ _c(λ )代表相机灵敏度函数, S(x, λ )代表坐标x处物体表面的光谱反射率, ω 代表可见光波长范围（380~780 nm）, λ 代表可见光波长。假设图像场景由单一光源均匀照明, 由相机观察到的光源色彩e_c与光源的实际色彩I(λ )及相机的灵敏度函数ρ _c(λ )相关^[5]:

$e_{c}=\int_{\omega} I(\lambda) \rho_{c}(\lambda) d \lambda$ (2)

基于窄带假设, 成像设备仅在某一特定波长处存在响应, 则联合式(1)与式(2), 图像在坐标x处三通道像素值ƒ (x)=[ƒ _R(x) ƒ _G(x) ƒ _B(x)]^T为:

$f(x)=\left[\begin{array}{ccc} e_{R} & 0 & 0 \\ 0 & e_{R} & 0 \\ 0 & 0 & e_{R} \end{array}\right]\left[\begin{array}{l} S_{R}(x) \\ S_{G}(x) \\ S_{B}(x) \end{array}\right]$ (3)

白斑算法假设图像RGB各色彩通道的最大响应由场景中完美反射表面引起。由于完美反射表面能够反射所捕捉到的全部光源^[6], 因此RGB各通道的最大分量值可视为图像场景中的光源色彩。该算法优点在于简单高效, 但往往会由于坏点、噪声像素干扰或数码相机的有限曝光范围导致光照估计精度较差^[7]。

降采样白斑算法基于传统白斑算法进行改进, 其主要思路是通过在图像中以随机化选取像素的降采样形式来规避对传统白斑算法影响较大的坏点及噪声像素。该算法的改进依据是利用大多数图像存在许多具有均匀或缓慢色彩变化的像素表面这一特性来规避坏点及噪声像素, 由于图像场景的同一表面中具有均匀或缓慢色彩变化的像素具有较高的相似度, 因此可以通过降采样的方法仅选取部分像素代表整个表面, 从而忽略剩余可能存在坏点或噪声的表面像素。在降采样过程中, 每次随机采集N个像素作为一个样本, 然后针对该样本应用白斑算法进行光照估计。为了避免可能采集到的坏点或噪声像素破坏单一样本, 上述过程将执行M次, 最终的光照估计为来自M个样本的M个估计光源平均值。实验结果表明, 该算法具有较高的光照估计性能, 同时也代表了白斑算法和灰度世界算法的一种降采样的泛化:当M设为1时, 可视为基于降采样的白斑算法; 当N设为1时, 则可视算法为基于降釆样的灰度世界算法^[8]。依据参考文献^[8], 我们设置M为20, N为60。

综上所述, 降采样白斑算法计算简便、效率高, 同时有效弱化了图像坏点、噪声像素对传统白斑算法的干扰。然而, 该算法在降采样过程中仍然存在误选到过曝像素的可能性, 这将导致算法在视频侦查中的应用效率降低。

无论是白斑算法还是基于降采样的白斑算法, 均依赖于白斑假设寻找图像中由完美反射表面产生的最大通道响应进行光照估计。然而由于相机有限的动态范围, 白斑假设往往可能错误选取到图像中的过曝像素, 导致产生错误的光照估计。为进一步研究过曝像素对基于白斑假设色彩恒常算法的影响, 利用ColorCheckerREC数据集^[9]进行预实验, 在对图像做归一化处理后, 设定初始过曝像素的判定阈值为1, 并以0.01为步长依次递减, RGB三通道任一通道分量小于判定阈值的像素将被视为过曝像素。在对过曝像素进行掩模操作后, 将基于白斑假设选取的像素进行光照估计, 并采用下式评估光照估计精度:

$\operatorname{err}_{\text {angular }}=\cos ^{-1}\left(\frac{e_{e} \cdot e_{t}}{\left\|e_{e}\right\| \cdot\left\|e_{t}\right\|}\right) $ (4)

式(4)中, e_e和e_t分别代表估计光源色彩及真实光源色彩, err_angular则代表两者间的角误差, 角误差越低代表算法的光照估计性能越好。

基于白斑假设的光照估计角误差如图1所示, 在未去除过曝像素(阈值为1)时, 基于白斑假设选取的像素在光照估计中角误差较大, 这是由于白斑假设基于图像通道分量最大值选取像素进行光照估计, 然而由于相机的动态范围有限, 通道分量的最大值并不能较好地反映光源色彩信息, 因此最终得到的光照估计角误差较高。随着阈值的降低, 可以发现基于白斑假设的光照估计角误差逐渐降低, 并在阈值为0.93后升高, 这是由于在阈值设定过低时, 图像中益于光照估计的高光像素同样被去除, 这导致了光照估计角误差的升高。综上, 过曝像素的去除有利于弱化过曝像素对白斑假设选取像素点时的干扰, 实现光照估计性能的提升。此外, 针对过曝像素的阈值确定同样与光照估计性能关联, 因此需要准确选取过曝像素的阈值。

图1

Fig. 1

	Figure Option ViewDownloadNew Window
	图1 基于白斑假设的光照估计角误差Fig. 1 Angular error under white patch hypothesis

将像素的三通道分量值分别与所设定的过曝阈值t进行比较, 任一通道分量值大于t的像素判定为过曝像素, 则本文所构建过曝像素的判定标准如下式所示:

$f_{c}\left(x_{1}, y_{1}\right)=\left\{\begin{array}{cc} 1 & R_{\left(x_{1}, y_{1}\right)}< t \cup G_{\left(x_{1}, y_{1}\right)}< t \cup B_{\left(x_{1}, y_{1}\right)}< t \\ 0 & \text { otherwise } \end{array}\right.$ (5)

式(5)中, ƒ _c(x₁, y₁)为1代表判定为过曝像素, ƒ _c(x₁, y₁)为0则代表判定为未过曝像素。最后, 将过曝像素集合采用掩模覆盖。本文算法的总流程见图2。

图2

Fig. 2

	Figure Option ViewDownloadNew Window
	图2 基于局部过曝抑制的降采样白斑算法流程Fig. 2 Operating flowchart of the algorithm to downsample the white patches for inhibiting local over-exposed pixels

实验环境为Inter(R)Core(TM)i7-8750CPU @2.20 GHZ, 16 GB内存。各类色彩恒常算法的测试均基于MATLAB2017a平台实现。所用数据集为标准数据集ColorCheckerREC和自建数据集, 部分参数见表1。

表1

Table 1

表1(Table 1)

表1 ColorCheckerREC数据集和自建数据集内图像参数 Table 1 Statistics of image parameters in the dataset of eihter the ColorCheckerREC or the self-built 数据集 相机型号 图像数量/幅 图像分辨率/像素 ColorCheckerREC Canon 1D 86 2041× 1359 Canon 5D 482 2193× 1460 自建数据集 Canon 700D 180 1500× 1000 Nikon D7100 180

表1 ColorCheckerREC数据集和自建数据集内图像参数 Table 1 Statistics of image parameters in the dataset of eihter the ColorCheckerREC or the self-built

自建数据集共包含图像360张, 以每个拍摄场景为一组, 分为室内场景和室外场景共30组(室外20组, 室内10组)。每组中包含12张照片, 分别由佳能700D、尼康D7100两种不同型号的相机在钨丝灯、阴影、白色荧光灯三种偏色白平衡模式下拍摄。相同场景及白平衡模式下的相机取景尽可能保持一致。图像均为JPG格式且分辨率为1 500× 1 000。相机拍摄模式设置为手动, 两部相机在相同场景下将采用一致的快门时间及光圈数, 具体参数设置将参考场景进行微调以确保图像正确曝光。

为设定过曝阈值, 本文采用经验阈值方法, 通过实验的方式确定最佳阈值。分别对标准数据集ColorCheckerREC和自建数据集进行测试, 以1为起始值, 0.01为步长依次递减作为阈值, 并计算在不同阈值下得到的光照估计角误差均值及中值。实验结果如图3、图4所示。

图3

Fig. 3

	Figure Option ViewDownloadNew Window
	图3 ColorCheckerREC数据集角误差Fig. 3 Angular error with ColorCheckerREC dataset

图4

Fig. 4

	Figure Option ViewDownloadNew Window
	图4 自建数据集角误差Fig. 4 Angular error with the self-built dataset

由图3及图4可看出, 本文算法在两类数据集中的光照估计角误差均随设定阈值减小先降低后升高。由于角误差中值更适于作为衡量色彩恒常算法性能的指标^[10], 因此本文对标准数据集ColorCheckerREC和自建数据集的阈值分别选取为0.83及0.99。

为对比本文算法与常见色彩恒常算法性能, 设计在标准数据集ColorCheckerREC进行测试, 对比算法为灰度世界算法、白斑算法、降采样白斑算法、灰度阴影算法以及一阶、二阶灰度边缘算法。此外, 为研究不同算法在不同采集设备中的性能, 本文构建了一类由Nikon及Canon相机拍摄的色彩恒常数据集, 为模拟偏色视频中对视频帧的处理, 该数据集由不同场景及光照条件下的图像组成。各色彩恒常算法在两类数据集中的光照估计角误差如表2、表3所示, 表中同样给出了各算法针对单幅图像的平均运行速度。

表2

Table 2

表2(Table 2)

表2 各算法在ColorCheckerREC数据集中角误差及运行速度统计 Table 2 Angular errors and running speeds from the indicated algorithms with ColorCheckerREC dataset 算法 平均值 中值 三均值 最优25%分位 最差25%分位 平均用时/s 灰度世界算法 4.73 3.59 3.88 0.97 10.40 0.125 白斑算法 10.23 9.17 9.48 1.54 20.44 0.099 灰度阴影算法（p=6） 6.39 4.49 5.17 0.79 14.92 0.410 一阶灰度边缘算法（p=1, σ =6） 4.17 3.30 3.54 1.11 8.62 0.511 二阶灰度边缘算法（p=1, σ =5） 4.23 3.36 3.64 1.26 8.48 0.643 降采样白斑算法 4.01 2.68 3.03 0.57 9.57 0.006 本文算法（t=0.83） 3.56 2.22 2.57 0.52 8.79 0.032

表2 各算法在ColorCheckerREC数据集中角误差及运行速度统计 Table 2 Angular errors and running speeds from the indicated algorithms with ColorCheckerREC dataset

表3

Table 3

表3(Table 3)

表3 各算法在自建数据集中角误差及运行速度统计 Table 3 Angular errors and running speeds from the indicated algorithms with the self-built dataset 算法 平均值 中值 三均值 最优25%分位 最差25%分位 平均用时/s 灰度世界算法 4.15 3.69 3.70 1.10 8.10 0.061 白斑算法 8.21 7.81 7.74 3.06 14.29 0.050 灰度阴影算法（p=6） 3.99 3.68 3.63 1.38 7.34 0.193 一阶灰度边缘算法（p=1, σ =6） 4.70 4.24 4.33 1.47 8.80 0.259 二阶灰度边缘算法（p=1, σ =5） 4.78 4.30 4.39 1.55 8.81 0.309 降采样白斑算法 4.49 3.60 3.96 1.32 8.85 0.007 本文算法（t=0.99） 3.61 3.09 3.28 1.17 6.73 0.018

表3 各算法在自建数据集中角误差及运行速度统计 Table 3 Angular errors and running speeds from the indicated algorithms with the self-built dataset

观察表2及表3可知, 普通白斑算法虽然运算速度优于其他的色彩恒常算法, 但是对于标准数据集ColorCheckerREC和自建数据集来说, 无论是均值角误差还是中值角误差, 该算法所给出的结果均较差。本文算法主要解决了降采样白斑算法中易受过曝像素干扰的问题, 因此相比降采样白斑算法在两类数据集光照估计的准确性均得到了较大提高, 且在对比算法中为最优。最后对比各算法的运行速度, 可以发现降采样白斑算法的单幅图像运行速度最快, 且低于同类型白斑算法, 这是由于降采样操作降低了算法在处理单幅图像中的数据量, 因此算法的运行速度可以得到明显提升。相比之下, 本文算法虽然速度略慢于降采样白斑算法, 但相比白斑算法运行速度仍具有明显优势, 对2 K以上图像的处理时间仅为0.03 s左右, 可以在视频偏色校正中达到较好的实时性。为进一步分析本文算法的时间复杂度, 设图像像素数为K, M、N分别为1.2节定义降采样操作参数, 则本文算法采用大O计法(Big-O notation)的时间复杂度为O(M× N+K）。

由于本文算法需要遍历图像像素以执行过曝判定, 因此算法速度与输入图像尺寸相关, 故在图像尺寸不同的ColorCheckerREC数据集以及自建数据集中运行时间不同。最后, 观察表4可知, 本文算法在跨设备的光照估计中具有较低的角误差及较高的稳定性, 这表明本文算法同样可以在采集设备未知或采集设备不同的情况下使用。

表4

Table 4

表4(Table 4)

表4 不同采集设备下本文算法角误差统计 Table 4 Angular errors with the here-built algorithm having been deployed under different acquisition equipment 相机 平均值 中值 三均值 最优25%分位 最差25%分位 尼康 3.99 3.59 3.65 1.44 7.26 佳能 3.19 2.81 2.85 0.90 6.00

表4 不同采集设备下本文算法角误差统计 Table 4 Angular errors with the here-built algorithm having been deployed under different acquisition equipment

图5中不同算法的光照估计角误差标记在图像右下角。如图5所示, 白斑算法和降采样白斑算法都易于受过曝像素影响, 因此角误差较高, 且校正后在视觉上存在明显的偏色。而本文采用的基于局部过曝抑制的降采样白斑算法将对算法光照估计性能影响较大的过曝像素采用掩模覆盖, 因此可以得到更低的光照估计角误差, 校正后在视觉上无明显的偏色。

图5

Fig. 5

	Figure Option ViewDownloadNew Window
	图5 算法可视化（a:原始图像; b:标准图像; c:白斑算法; d:降采样白斑算法; e:本文算法）Fig. 5 Exampled visualization with the algorithm of (a: original image; b: Ground Truth; c: White Patch; d: Downsampling White Patch; e: the Proposed in this paper)