H.264/AVC 项目的目的是创建一个标准，该标准能够以比以前标准低得多的比特率（即 MPEG-2、H.263 或 MPEG- 或更多的）。 低的）。 4 Part 2)，在不增加设计复杂度的情况下，使其不切实际或实施起来成本太高。 另一个目标是提供足够的灵活性，使标准能够应用于各种网络和系统上的各种应用，包括低和高比特率、低分辨率和高分辨率视频、广播、DVD 存储、RTP/IP 分组网络和 ITU-T多媒体电话系统。 H.264 标准可以看作是由许多不同的配置文件组成的“标准族”。 特定解码器解码至少一个但不一定所有配置文件。 解码器规范描述了可以解码哪些配置文件。 H.264 通常用于有损压缩，但也可以在有损编码图像中创建真正的无损编码区域，或支持整个编码无损的罕见用例。
H.264 由 ITU-T 视频编码专家组 (VCEG) 与 ISO/IEC JTC1 运动图像专家组 (MPEG) 共同开发。 项目伙伴关系称为联合视频团队 (JVT)。 ITU-T H.264 标准与 ISO/IEC MPEG-4 AVC 标准（正式名称为 ISO/IEC 14496-10-MPEG-4 Part 10，Advanced Video Coding）共同维护，使其具有相同的技术内容。 该标准第一版的最终起草工作于 2003 年 265 月完成，随后的版本中增加了其功能的各种扩展。 高效视频编码（HEVC），即H.2和MPEG-H Part 264是同一组织开发的H.4/MPEG-XNUMX AVC的后继标准，目前仍普遍使用较早的标准。
最著名的 H.264 可能是蓝光光盘的视频编码标准之一； 所有蓝光光盘播放器都必须能够解码 H.264。 它也被广泛用于流媒体互联网资源，如来自 Vimeo、YouTube 和 iTunes Store 的视频，网络软件如 Adobe Flash Player 和 Microsoft Silverlight，以及地面上的各种 HDTV 广播（ATSC、ISDB-T、DVB）- T或 DVB-T2)、有线 (DVB-C) 和卫星（DVB-S 和 DVB-S2）。
H.264 受各方拥有的专利保护。 涵盖 H.264 所需的大多数（但不是全部）专利的许可由专利池 MPEG LA 管理。 3 获得专利的 H.264 技术的商业使用需要向 MPEG LA 和其他专利所有者支付版税。 MPEG LA 允许免费使用 H.264 技术为最终用户提供免费的流媒体互联网视频，思科系统公司代表其开源 H.264 编码器二进制文件用户向 MPEG LA 支付版税。
1。 命名
H.264名称遵循ITU-T命名约定，是VCEG视频编码标准H.26x系列的成员； MPEG-4 AVC 名称与 ISO/IEC MPEG 中的命名约定有关，其中标准是 ISO/IEC 14496 第 10 部分，ISO/IEC 14496 是一套称为 MPEG-4 的标准。 该标准是由 VCEG 和 MPEG 合作开发的，之前在 ITU-T 执行了一个名为 H.26L 的 VCEG 项目。 因此，通常使用 H.264/AVC、AVC/H.264、H.264/MPEG-4AVC 或 MPEG-4/H.264 AVC 等名称来指代标准，以强调共同的遗产。 有时，它也被称为“JVT 编解码器”，指的是开发它的联合视频团队 (JVT) 组织。 （这种伙伴关系和多重命名的情况并不少见。例如，称为MPEG-2的视频压缩标准也起源于MPEG和ITU-T之间的伙伴关系，其中MPEG-2视频被ITU-T社区H. 262. 4) 一些软件程序（如 VLC 媒体播放器）在内部将此标准标识为 AVC1。
2。 历史
1998 年初，视频编码专家组（VCEG-ITU-T SG16 Q.6）发出了一项名为 H.26L 的项目提案征集，其目标是将编码效率（这意味着所需的 Bitrate减半）与用于各种应用的任何其他现有视频编码标准相比，给定的保真度水平。 VCEG 的主席是 Gary Sullivan（微软，前身为 PictureTel，美国）。 新标准的第一稿设计于1999年2000月通过。XNUMX年，Thomas Wiegand（德国海因里希赫兹研究所）成为VCEG的联席主席。
2001 年 1 月，VCEG 和运动图像专家组（MPEG-ISO / IEC JTC 29 / SC 11 / WG 5）组成了联合视频组（JVT），其章程最终确定了视频编码标准。 [2003] 该规范于 2004 年 2005 月正式获得批准。JVT 由 Gary Sullivan、Thomas Wiegand 和 Ajay Luthra（美国摩托罗拉：后来的 Arris，美国）担任主席。 2007 年 264 月，Fidelity Scope Extension (FRExt) 项目最终确定。 从 2006 年 2009 月到 264 年 3 月，JVT 致力于通过称为可扩展视频编码 (SVC) 的附件 (G) 将 H.XNUMX/AVC 扩展到可扩展性。 JVT 管理团队由 Jens-Rainer Ohm（德国亚琛大学）扩充。 XNUMX年XNUMX月至XNUMX年XNUMX月，JVT推出了多视频视频编码（MVC），这是H.XNUMX/AVC对免费电视和XNUMXD电视的扩展。 这项工作包括开发两个新的标准配置文件：Multiview High Profile 和 Stereo High Profile。
H.264/AVC 第一版的标准化于 2003 年 4 月完成。在扩展原始标准的第一个项目中，JVT 随后开发了所谓的保真范围扩展 (FRExt)。 这些扩展通过支持更高的采样位深度精度和更高分辨率的颜色信息来实现更高质量的视频编码，包括所谓的 Y'CbCr 2:2:4 (= YUV 2:2:4) 和 Y'CbCr 4:4 采样结构： 4. Fidelity Range Extensions 项目还包括其他功能，例如 4×8 和 8×2004 整数变换之间的自适应切换、编码器指定的基于感知的量化加权矩阵、图片之间的高效无损编码以及对附加色彩空间。 Fidelity Range Extensions 的设计工作于 2004 年 XNUMX 月完成，其起草工作于 XNUMX 年 XNUMX 月完成。
最近对该标准的进一步扩展包括添加了其他五个新配置文件 [哪个？ ] 主要用于专业应用，增加了扩展色域空间支持，定义了额外的纵横比指标，定义了另外两种类型的“补充增强信息”（后过滤提示和色调映射），丢弃了之前的FRExt配置文件一个（高4:4:4 简介），行业反馈[由谁？ ] 指令的设计应该不同。
标准中添加的下一个主要功能是可伸缩视频编码 (SVC)。 H.264/AVC 的附件 G 规定，SVC 允许构建包含也符合标准的子比特流的比特流，包括一种称为“基础层”的比特流，它可以被 H.264/支持 SVC 的 AVC 编解码器。 对于时间比特流可伸缩性（即，存在具有比主比特流更小的时间采样率的子比特流），在导出子比特流时从比特流中移除完整的访问单元。 在这种情况下，相应地构建比特流中的高级句法和帧间预测参考图片。 另一方面，对于空间和质量比特流可扩展性（即存在空间分辨率/质量低于主比特流的子比特流），在推导子比特流（网络抽象层）时从比特流中去除 NAL。 . 在这种情况下，层间预测（即，从较低空间分辨率/质量信号的数据预测较高空间分辨率/质量信号）通常用于高效编码。 可伸缩视频编码扩展已于 2007 年 XNUMX 月完成。
标准中添加的下一个主要功能是多视图视频编码 (MVC)。 H.264/AVC 的附件 H 中规定，MVC 能够构建表示视频场景的多个视图的比特流。 此功能的一个重要示例是立体 3D 视频编码。 MVC 工作中开发了两种配置文件：Multiview High Profile 支持任意数量的视图，而 Stereo High Profile 专为两视图立体视频而设计。 Multiview 视频编码扩展已于 2009 年 XNUMX 月完成。
3。 应用
H.264 视频格式的应用范围非常广泛，涵盖了从低比特率 Internet 流媒体应用到 HDTV 广播以及几乎无损编码的数字电影应用的所有形式的数字压缩视频。 通过使用 H.264，与 MPEG-2 Part 2 相比，可以节省 50% 或更多的比特率。 例如，据报道，H.264提供的数字卫星电视的质量与MPEG-2的当前实现相同，比特率不到一半。 目前MPEG-2的实现速率约为3.5 Mbit/s，而H.264只有1.5 Mbit。 /秒。 [23] 索尼声称，9 Mbit/s AVC 录制模式相当于 HDV 格式的图像质量，使用大约 18-25 Mbit/s。
为了确保 H.264/AVC 的兼容性和无故障采用，许多标准组织已经修改或添加了他们的视频相关标准，以便这些标准的用户可以使用 H.264/AVC。 蓝光光盘格式和现已停产的 HD DVD 格式都使用 H.264 / AVC High Profile 作为三种强制性视频压缩格式之一。 数字视频广播项目 (DVB) 于 264 年底批准将 H.2004/AVC 用于广播电视。
美国高级电视系统委员会 (ATSC) 标准机构于 264 年 2008 月批准了 H.25/AVC 用于广播电视，尽管该标准尚未用于美国的固定 ATSC 广播。 [26] [264] 它还被批准用于最新的 ATSC-M/H（移动/手持）标准，使用 H.XNUMX 的 AVC 和 SVC 部分。
CCTV（闭路电视）和视频监控市场已将此技术融入到许多产品中。 许多常见的数码单反相机使用包含在 QuickTime MOV 容器中的 H.264 视频作为本机录制格式。
4. 派生格式
AVCHD 是索尼和松下共同设计的一种高清录制格式，采用 H.264（兼容 H.264，同时添加了其他特定于应用程序的功能和约束）。
AVC-Intra 是松下开发的一种帧内压缩格式。
XAVC 是 Sony 设计的一种录制格式，使用 H.5.2/MPEG-264 AVC 的 4 级，这是该视频标准支持的最高级别。 [28] [29] XAVC 可以支持 4K 分辨率（4096×2160 和 3840×2160），速度高达每秒 60 帧 (fps)。 [28] [29] 索尼宣布支持 XAVC 的摄像机包括两台 CineAlta 摄像机——索尼 PMW-F55 和索尼 PMW-F5。 [30] 索尼PMW-F55可以录制XAVC，4K分辨率30 fps，速度300 Mbit/s，2K分辨率，30 fps，100 Mbit/s。 [31] XAVC 可以以 4 fps 的速度记录 60K 分辨率，并以 4 Mbit/s 的速度执行 2:2:600 色度子采样。
5。 产品特点
H.264的框图
H.264 / AVC / MPEG-4 Part 10 包含许多新功能，使其能够比旧标准更有效地压缩视频，并为各种网络环境中的应用程序提供更大的灵活性。 特别是，其中一些关键功能包括：
1）多画面画面间预测包括以下特点：
以比以前的标准更灵活的方式使用以前编码的图片作为参考，在某些情况下允许使用多达 16 个参考帧（或在隔行编码的情况下为 32 个参考场）。 在支持非 IDR 帧的配置文件中，大多数级别指定应该有足够的缓冲以允许在最大分辨率下至少有 4 或 5 个参考帧。 这与现有标准形成对比，现有标准通常限制为 1； 或者，在传统的“B 图像”（B 帧）的情况下，两个。 在大多数情况下，此特殊功能通常可以适度提高比特率和质量。 [需要引用] 但在某些类型的场景中，例如具有重复动作或来回切换场景或未覆盖背景区域的场景，它允许在保持清晰度的同时显着降低比特率。
可变块大小运动补偿（VBSMC），块大小为16×16，小至4×4，可实现运动区域的精确分割。 支持的亮度预测块大小包括 16×16、16×8、8×16、8×8、8×4、4×8 和 4×4，其中许多可以在单个宏块中一起使用。 根据使用的色度子采样，色度预测块大小相应更小。
在B宏块由16个4×4分区组成的情况下，每个宏块可以使用多个运动向量（每个分区一个或两个），最多32个。每个8×8或更大分区区域的运动向量可以指向到不同的参考图像。
在 B 帧中可以使用任何宏块类型，包括 I 宏块，从而在使用 B 帧时实现更高效的编码。 这个特性可以从MPEG-4 ASP 中看出。
六抽头滤波用于导出半像素亮度样本预测，以实现更清晰的子像素运动补偿。 四分之一像素运动是通过半色值的线性插值导出的，以节省处理能力。
用于运动补偿的四分之一像素精度可以准确描述运动区域的位移。 对于色度，分辨率通常在垂直和水平方向上减半（见4:2:0），因此色度的运动补偿使用八分之一色度像素网格单元。
加权预测允许编码器在执行运动补偿时指定缩放和偏移的使用，并在特殊情况下提供显着的性能优势 - 例如淡入和淡出、淡入和淡入以及淡入和淡出过渡。 这包括 B 帧的隐式加权预测和 P 帧的显式加权预测。
用于“帧内”编码的相邻块边缘的空间预测，而不是 MPEG-2 Part 2 中的“DC”预测以及 H.263v2 和 MPEG-4 Part 2 中的变换系数预测：
这包括 16×16、8×8 和 4×4 的亮度预测块大小（其中每个宏块中只能使用一种类型）。
2）无损宏块编码功能包括：
无损“PCM宏块”代表模式，直接代表视频数据样本，[34]允许完美表示特定区域，并允许对每个宏块的编码数据量进行严格限制。
增强的无损宏块表示模式允许对特定区域进行完美表示，同时通常使用比 PCM 模式少得多的比特。
灵活的隔行视频编码功能，包括：
宏块自适应帧场 (MBAFF) 编码使用宏块对结构将图像编码为帧，允许场模式下有 16×16 个宏块（与 MPEG-2 相比，场模式处理在图像中实现编码为帧导致处理 16×8 半宏块）。
图像自适应帧和场编码（PAFF 或 PicAFF）允许将自由选择的图像混合并编码为一个完整的帧，其中两个场组合用于编码或作为单个单场。
新的转换设计功能，包括：
精确匹配整数 4×4 空间块变换，允许准确放置残差信号，几乎没有以前编解码器设计中常见的“振铃”。 这种设计在概念上类似于著名的离散余弦变换 (DCT)，它是由 N. Ahmed、T. Natarajan 和 KR Rao 于 1974 年引入的，是离散余弦变换中的参考文献 1。 然而，它被简化并提供精确指定的解码。
精确匹配整数 8×8 空间块变换，允许比 4×4 变换更有效地压缩高度相关的区域。 该设计在概念上类似于众所周知的 DCT，但进行了简化并提供了精确指定的解码。
用于整数变换操作的 4×4 和 8×8 变换块大小之间的自适应编码器选择。
对应用于色度 DC 系数（在特殊情况下还有亮度）的主空间变换的“DC”系数执行二次 Hadamard 变换，以在平滑区域获得更多压缩。
3) 定量设计包括：
对数步长控制、更简单的比特率管理和通过编码器简化的逆量化缩放
编码器选择的频率定制量化缩放矩阵用于基于感知的量化优化
环路解块滤波器有助于防止其他基于 DCT 的图像压缩技术常见的块效应，从而获得更好的视觉外观和压缩效率
4）熵编码设计包括：
上下文自适应二进制算术编码 (CABAC)，一种用于对视频流中的句法元素进行无损压缩的算法，它知道给定上下文中句法元素的概率。 CABAC 比 CAVLC 更有效地压缩数据，但需要更多的处理来解码。
上下文自适应可变长度编码 (CAVLC)，它是用于编码量化变换系数值的 CABAC 的较低复杂性替代方案。 尽管复杂度低于 CABAC，但 CAVLC 比其他现有设计中常用的系数编码方法更精细、更有效。
用于许多未由 CABAC 或 CAVLC 编码的句法元素的常见简单且高度结构化的可变长度编码 (VLC) 技术称为指数哥伦布编码（或 Exp-Golomb）。
5）损失恢复功能包括：
网络抽象层 (NAL) 定义允许在许多网络环境中使用相同的视频语法。 H.264 的一个非常基本的设计理念是生成自包含的数据包以去除重复的报头，例如 MPEG-4 的报头扩展代码 (HEC)。 这是通过从媒体流中解耦与多个切片相关的信息来实现的。 高级参数的组合称为参数集。 [35] H.264规范包括两种类型的参数集：序列参数集（SPS）和图片参数集（PPS）。 有效序列参数集在整个编码视频序列中保持不变，有效图像参数集在编码图像内保持不变。 序列和图像参数集结构包含图像大小、采用的可选编码方式、宏块到切片组映射等信息。
灵活宏块排序 (FMO)，也称为切片组和任意切片排序 (ASO)，是一种用于重建图片中基本区域（宏块）表示的排序的技术。 通常被认为是错误/损失鲁棒性函数，FMO 和 ASO 也可以用于其他目的。
数据分区 (DP) 是一种可以将较重要和不太重要的语法元素划分为不同数据包的功能，可以应用不等错误保护 (UEP) 和其他类型的错误/丢失鲁棒性改进。
冗余切片 (RS)，一种针对错误/损失的鲁棒性特征，它允许编码器发送图像区域的附加表示（通常具有较低保真度），如果主要表示损坏或丢失，则可以使用该表示。
帧数，允许创建“子序列”功能，通过可选地在其他图片之间包含附加图片来实现时间可扩展性，并检测和隐藏整个图片的丢失，这可能是由于网络丢包或信道发生错误造成的。
切换切片，称为 SP 和 SI 切片，允许编码器指示解码器跳转到正在进行的视频流，以实现视频流比特率切换和“特技模式”操作等目的。 当解码器使用SP/SI功能跳转到视频流的中间时，它可以获得与视频流中那个位置的解码图像精确匹配，尽管使用不同的图片或根本没有图片，作为一个以前的参考。 转变。
用于防止意外模拟起始代码（编码数据中的特殊位序列）的简单自动过程允许随机访问位流并在可能丢失字节同步的系统中恢复字节对齐。
补充增强信息 (SEI) 和视频可用性信息 (VUI) 是附加信息，可以插入比特流以增强视频以用于各种目的。 [需要澄清] SEI FPA（帧封装安排）包含消息的 3D 安排：
辅助图片，可用于alpha合成等用途。
支持单色 (4:0:0)、4:2:0、4:2:2 和 4:4:4 色度子采样（取决于所选配置文件）。
支持采样位深度精度，范围为每个样本 8 到 14 位（取决于所选配置文件）。
能够将每个颜色平面编码成具有自己的切片结构、宏块模式、运动矢量等的不同图像，允许使用简单的并行结构来设计编码器（仅支持三个支持 4:4:4 的配置文件)。
图像序列计数用于保持图像的顺序和解码图像中样本值的特征与时序信息隔离，允许系统单独携带和控制/改变时序信息，而不影响时序信息的内容解码图像。
这些技术和其他几项技术帮助 H.264 在各种情况下的各种应用环境中比任何以前的标准表现得更好。 H.264 通常比 MPEG-2 视频表现更好——通常在相同质量的一半或更低的比特率下，尤其是在高比特率和高分辨率下。
与其他 ISO/IEC MPEG 视频标准一样，H.264/AVC 有一个可以免费下载的参考软件实现。 它的主要目的是提供 H.264/AVC 功能的示例，本身并不是一个有用的应用程序。 电影专家组也在做一些参考硬件设计工作。 以上是H.264/AVC的完整特性，涵盖了H.264的所有配置文件。 编解码器的配置文件是编解码器的一组特性，它被识别为满足预期应用的特定规范集。 这意味着某些配置文件不支持列出的许多功能。 H.264/AVC 的各种配置文件将在下一节讨论。
我们的其他产品：
