本系列主要介绍图像信号处理器 (ISP, image signal processor) 中各核心算法模块的设计以及相关的前沿研究,以典型的相机成像系统为基础,涉及的内容包括各类缺陷校正,去马赛克,去噪,3A算法(自动对焦,自动曝光,自动白平衡),超分,HDR,风格迁移等主题。
本文介绍RGB色彩空间和YUV色域之间的转换关系以及目前常用的YUV存储格式。
RGB颜色空间
国际照明委员会(CIE)规定以蓝=435.8nm,绿=546.1nm,红=700nm作为主原色,因此,红、绿、蓝也被称为三原色。RGB颜色空间利用三原色红、绿、蓝的不同比例相加合成产生各种不同的颜色。如下图所示,通过将红色、绿色、蓝色映射到三维笛卡尔坐标系来创建RGB颜色空间。
图1
R、G、B取值常用8比特表示,因此代表三基色的红、绿、蓝通道分别用0~255的整数表示强度。0表示无光,亮度最暗;255表示强度最大,亮度最亮。(0,0,0)表示纯黑色;(255,255,255)表示白色。
RGB颜色空间在电视机和计算机的图像颜色显示系统中广泛应用,是我们接触最多的颜色空间。RGB颜色空间最大的优点就是直观,容易理解。但是RGB空间的缺点是R、G、B这3个分量是高度相关的,RGB颜色空间的三个分量都与亮度密切相关,即只要亮度改变,三个分量都会随之相应地改变。如下图,RGB三个分量的强度均在一定程度上反映了图像中的亮度信息。
图2
YUV颜色空间
YCbCr颜色空间,又常被称作YUV颜色空间,是用于数字电视的颜色空间,在ITU-R BT.601、BT.709、BT.2020标准中被明确定义,这三种标准分别针对标清、高清、超高清数字电视。Y是亮度,Cb(U)、Cr(V)表示色度,描述颜色的色调与饱和度。其中Cr反映RGB中红色部分与Y亮度值之间的差异;Cb则反映蓝色部分与亮度值之间的差异。在广播电视中,使用YCbCr可解决黑白电视和彩色电视之间的信号兼容问题。
转换方法
RGB颜色空间到YUV颜色空间的转换标准如下。
YUV存储格式
由于人眼对色度变化没有对亮度变化敏感,在图像质量损失忽略不计的前提下,可以降低Cb、Cr通道的采样率,从而有效压缩Cb、Cr通道的数据量,使图像数据占用较少的空间。常见的YCbCr采样频率格式包括4:4:4,4:2:2以及4:2:0,如下图所示。
图3
YUV4:4:4采样中每一个像素点的Y分量对应一组UV分量, YUV4:2:2采样每两个左右相邻的像素点的Y分量共用一组UV分量;YUV4:2:0采样每四个上下左右相邻的像素点的Y分量共用一组UV分量。根据不同的采样方式,数据在存储时的排列方式也有所不同。
01
YUV 4:4:4 存储格式
YUV4:4:4在存储格式上和RGB图像的存储方法一致,Y、U、V三个分量连续存放,如下图所示。
图4
02
YUV 4:2:2 存储格式
YUYV格式为YUV422采样的存储格式中的一种,遵循YUV422存储格式的基本原则,相邻的两个像素点的Y共用其相邻的两个U、V。对于相邻两个像素点的Y00、Y01而言,其U、V的值均为 U00、V00,其他的像素点的YUV取值依此类推。
图5
UYVY格式也是YUV422采样的存储格式中的一种,与YUYV不同的是UV排列顺序不一样,UV共用方法与上述一致。
图6
YUV422P格式也属于YUV422采样的存储格式中的一种,它是一种Plane模式,即平面模式。与上述两种存储方式的区别在于并不是将YUV数据交错存储,而是先存放所有的Y分量,然后再存储所有的U分量,最后存储所有的V分量。
图7
03
YUV 4:2:0 存储格式
YU12格式和YV12格式均属于YUV420格式,也是一种Plane模式,将Y、U、V分开依次存储。其中每一个像素点的YUV数据遵循YUV420存储格式的基本原则,即4个Y分量共用一组UV。如下图所示。
图8
V12格式和NV21格式也属于YUV420格式,是一种two-plane格式,即Y分量和UV分量各自占一部分, UV分量交错存储。
图9
参考文献:
[1] RecommendationITU-R BT.601-7 (03/2011), Studio encoding parameters of digital television forstandard 4:3 and wide-screen 16:9 aspect ratios, BT SeriesBroadcasting service(television),Electronic Publication Geneva, 2015.
[2] RecommendationITU-R BT.709-6 (06/2015), Parameter values for the HDTV standards forproduction and international programme exchange, BT Series Broadcasting service(television), Electronic PublicationGeneva, 2015.
[3] RecommendationITU-R BT.2020-2 (10/2015), Parameter values for ultra-high definitiontelevision systems for production and international programme exchange, BTSeries Broadcasting service (television),ElectronicPublication Geneva, 2015.