视频数据压缩算法
一、简介
电视图像数据压缩利用的各种特性和采用的方法归纳在表10-1中。从表中可以看到，电视图像本身在时间上和空间上都含有许多冗余信息，图像自身的构造也有冗余性。此外，正如前面所介绍的，利用人的视觉特性也可对图像进行压缩，这叫做视觉冗余。
表10-1 电视图像压缩利用的各种冗余信息 |
种类 |
内容 |
目前用的主要方法 | |
统计 |
空间冗余 | 像素间的相关性 |
变换编码，预测编码 | |
特性 |
时间冗余 | 时间方向上的相关性 |
帧间预测，移动补偿 | |
图像构造冗余 |
图像本身的构造 |
轮廓编码，区域分割 | |
知识冗余 | 收发两端对人物的共有认识 |
基于知识的编码 | |
视觉冗余 | 人的视觉特性 |
非线性量化，位分配 | |
其他 | 不确定性因素 | |
MPEG-Video图像压缩技术基本方法和方法可以归纳成两个要点：① 在空间方向上，图像数据压缩采用JPEG压缩算法来去掉冗余信息。② 在时间方向上，图像数据压缩采用移动补偿算法来去掉冗余信息。为了在保证图像质量基本不降低而又能够获得高的压缩比，MPEG专家组定义了三种图像：帧内图像I，预测图像P和双向预测图像B，典型的排列如下图所示。这三种图像将采用三种不同的算法进行压缩。
图 MPEG专家组定义的三种图像
二、帧内图像I的压缩编码算法
帧内图像I是真正的图片，不参照任何过去的或者将来的其他图像帧，压缩编码采用类似JPEG压缩算法，它的框图如下图所示。 如果电视图像是用RGB空间表示的，则首先把它转换成YCrCb空间表示的图像。每个图像平面分成8×8的图块，对每个图块进行离散余弦变换DCT。DCT变换后经过量化的交流分量系数按照Zig-zag的形状排序，然后再使用无损压缩技术进行编码。DCT变换后经过量化的直流分量系数用差分脉冲编码DPCM，交流分量系数用行程长度编码RLE，然后再用霍夫曼(Huffman)编码或者用算术编码。它的编码框图如图所示。 
图 帧内图像I的压缩编码算法框图
三、预测图像的压缩编码算法
预测图像的编码也是以图像宏块为基本编码单元，一个宏块定义为16×16像素的图像块。预测图像P使用两种类型的参数来表示：一种参数是当前要编码的图像宏块与参考图像的宏块之间的差值，另一种参数是宏块的移动矢量。移动矢量的概念可用下图表示。帧间压缩一般是在未压缩的图像上进行，是一个无损过程。
图 移动矢量的概念
四、双向预测图像
的压缩编码算法双向预测图像B的压缩编码框图如下图所示。具体计算方法与预测图像P的算法类似，这里不再重复。
图双向预测图像B的压缩编码算法框图
五、电视图像的结构
MPEG编码器算法允许选择I图像的频率和位置。I图像的频率是指每秒钟出现I图像的次数，位置是指时间方向上帧所在的位置。一般情况下，I图像的频率为2。MPEG编码器也允许在一对I图像或者P图像之间选择B图像的数目。I图像、P图像和B图像数目的选择依据主要是根节目的内容。例如，对于快速运动的图像，I图像的频率可以选择高一些，B图像的数目可以选择少一点；对于慢速运动的图像I图像的频率可以低一点，而B图像的数目可以选择多一点。此外，在实际应用中还要考虑媒体的速率。一个典型的I、P、B图像安排如下图所示。
编码参数为：帧内图像I的距离为N=15，预测图像(P)的距离为M=3。
图 MPEG电视帧编排I、P和B
图像压缩后的大小如下表所示，单位为比特。从表中可以看到，I帧图像的数据量最大，而B帧图像的数据量最小。
表 MPEG三种图像的压缩后的典型值(比特)
|
图像类型 |
I |
P |
B |
平均数据/帧 | |
MPEG-1 CIF 格式(1.15 Mb/s) |
150 000 |
50 000 |
20 000 |
38 000 |
| MPEG-2
601 格式(4.00 Mb/s) | 400
000 |
200 000 |
80 000 |
130 000 |
在播放时，根据MIDI文件记录的乐曲信息向波表发出指令，从“表格”中逐一找出对应的声音信息，经过合成、加工后回放出来。由于它采用的是真实乐器的采样，所以效果自然要好于FM。一般波表的乐器声音信息都以44.1KHz、16Bit的精度录制，以达到最真实的回放效果。理论上，波表容量越大合成效果越好。根据取样文件放置位置和由专用微处理器或CPU来处理的不同，波表合成又常被分为软波表和硬波表。
MPEG-4电视图像编码
一、电视图像对象区的概念
MPEG-4 Video验证模型不像MPEG-1/-2 Video那样把电视图像都认为是一个矩形区，而是假设每帧图像被分割成许多任意形状的图像区，每个区是描述场景中感兴趣的物理对象或者内容，这种区被定义为图像对象区VOP。
图
普通MPEG-4编码器和MPEG-4 特殊核心编码器
编码器输入的是任意形状的图像区，图像区的形状和位置也可随帧的变化而改变。属于相同物理对象的连续的电视图像对象区(VOP)组成电视图像对象(Video
Objects，VO)。例如，一个没有背景图像的正在演讲的人，如图所示。MPEG-4可单独对属于相同电视图像对象(VO)的电视图像区(VOP)的形状、移动(motion)和纹理(texture)信息进编码和传送。
此外，需要标识每个电视图像对象层的信息也包含在编码后的位流中，这些信息包括各种电视图像对象层的电视图像在接收端应该如何进行组合，以便重构完整的原始图像序列。这样就可以对每个电视图像对象区(VOP)进行单独解码，提供了管理电视图像序列的灵活性。
下图表示MPEG-4对电视图像序列进行编码的一个实际例子。左上角的图是背景全景图。右上角的图是一个没有背景的子图像全景图，可以把网球运动员当作是一个电视图像对象(VO)，经常把这种可以独立移动的小图像称为子图像。下面的图是接收端合成的全景图。在编码之前这个子图像全景图从背景全背景图序列中抽出来，然后分别对它们进行编码、传送和解码，最后再合成。
图 MPEG-4电视序列编码举例 | 
