视频编码的含义
原始视频数据的存储空间大，1080P 7 s视频需要817 MB
原始视频数据传输占用较大带宽，以11 Mbps的带宽传输上述7 s视频需要10分钟
经过H.264编码和压缩后，视频大小仅为708 k，10 Mbps带宽仅需要500 ms，可以满足实时传输的需求。 因此，必须将从视频采集传感器收集的原始视频进行视频编码。
基本
那么，为什么可以将巨大的原始视频编码为非常小的视频？ 这是什么技术？ 在讨论技术之前，我们应该首先建立连续图像视频的概念。
核心思想是删除冗余信息：
空间冗余：图片的相邻像素之间存在很强的相关性
时间冗余：视频序列中相邻图片之间的相似内容
编码冗余：不同的像素值具有不同的概率
视觉冗余：人类视觉系统对某些细节不敏感
知识冗余：可以从先验知识和背景知识中获得规律性的结构
视频本质上是连续且快速播放的一系列图片，因此压缩视频的最简单方法是压缩图片的每一帧。 例如，较早的MJPEG编码是压缩视频中图片的每一帧。 这种编码方法只有帧内编码，它使用空间样本预测进行编码。 图像隐喻是将每个帧都视为图片，并使用JPEG编码格式来压缩图片。 这种编码仅考虑图片中冗余信息的压缩。
然而，由于帧之间的时间相关性，已经开发了一些可以使用帧间编码的高级编码器。 简而言之，通过搜索算法选择帧上的某些区域，然后计算当前帧。这是在前后参考帧之间具有矢量差的编码形式。 通过图2中接下来的两个连续帧，我们可以看到滑雪者正在向前移动，但实际上雪景正在向后移动，并且参考了P帧可以对帧（I帧或其他P帧）进行编码，其大小编码后很小，压缩率很高。
关于参考链接 框架 http://mp.weixin.qq.com/s/ox6MsWx71b-GFsZihaOwww
一些学生可能对这两张图片的来源感兴趣。 这是要实现的两行FFmpeg命令。 有关FFmpeg的更多详细信息，请参见以下章节：
第一行生成带有运动矢量的视频
第二行将每一帧输出为图片
使用该命令
ffmpeg -flags2 + export_mvs -i tutu.mp4 -vf codecview = mv = pf + bf + bb tutudebug2.mp4
ffmpeg -i tutudebug2.mp4'tutunormal-％03d.bmp'
除了空间冗余和时间冗余压缩，主要还有编码压缩和视觉压缩。 以下是编码器的主要流程图：
图3和图4是两个过程。 图3是帧内编码，图4是帧间编码。 从图中看到的主要区别是第一步是不同的。 实际上，这两个过程也结合在一起。 一般来说，I帧和P帧分别使用帧内编码和帧间编码。
编码器选择
我已经整理出编码器的原理和基本过程。 编码器经历了数十年的发展。 它已经从仅支持帧内编码发展到如今由H.265和VP9代表的新一代编码器。 目前，我们分析了一些常见的编码器，我们将带您探索编码器的世界。
H.264
介绍
H.264 / AVC项目旨在创建视频标准。 与旧标准相比，它可以以较低的带宽（换句话说，只有MPEG-2，H.263或MPEG-4 Part 2的一半或更小的带宽）提供高质量的视频，而不会增加太多的设计复杂性无法实现或实施成本过高。 另一个目的是提供足够的灵活性，以用于各种应用程序，网络和系统，包括高和低带宽，高和低视频分辨率，广播，DVD存储，RTP / IP网络和ITU-T多媒体电话系统。
H.264 / AVC包含一系列新功能，不仅使其比以前的编解码器更高效，而且可以在各种网络环境中的应用程序中使用。 这种技术基础使H.264成为包括YouTube在内的在线视频公司使用的主要编解码器，但是使用它并不是一件容易的事。 从理论上讲，使用H.264需要很多钱。 专利费。
专利许可
与MPEG-2的第一部分和第二部分以及MPEG-4的第二部分一样，使用H.264 / AVC的产品制造商和服务提供商需要向专利持有人支付专利许可费。 这些专利许可的主要来源是一个名为MPEG-LA LLC的私人组织。 该组织与MPEG标准化组织无关，但该组织还管理MPEG-2第一部分系统，第二部分视频和MPEG-4第一部分。 分为两部分的视频和其他技术专利许可。
其他专利许可需要申请另一个名为VIA Licensing的私有组织，该组织还管理音频压缩标准（例如MPEG-2 AAC和MPEG-4 Audio）的专利许可。
H.264的开源实现
openh264是思科实施的开源H.264编码程序。 尽管H.264要求高昂的专利费，但是专利费有年度限制。 在Cisco支付OpenH264的年度专利费后，OpenH264实际上是免费的。
x264是根据GPL许可的视频编码免费软件。 x264的主要功能是执行H.264 / MPEG-4 AVC视频编码，而不是作为解码器。
排除成本问题进行比较：
openh264的CPU使用率比x264的CPU使用率低得多
openh264仅支持基准配置文件，x264支持更多配置文件
HEVC / H.265
介绍
高效视频编码（HEVC）是一种视频压缩标准（也称为H.265），被认为是ITU-T H.264 / MPEG-4 AVC标准的后继产品。 2004年，ISO / IEC运动图像专家组（MPEG）和ITU-T视频编码专家组（VCEG）开始发展为ISO / IEC 23008-2 MPEG-H第2部分或ITU-T H.265。 HEVC / H.265视频压缩标准的第一版于13年2013月264日被接受为国际电信联盟（ITU-T）的正式标准。HEVC被认为不仅可以提高视频质量，而且可以达到两倍的效果。 H.4 / MPEG-50 AVC的压缩率（相当于在相同画质下比特率降低4％），并且可以支持8192K分辨率甚至是超高清电视（UHDTV），达到4320×8（XNUMXK分辨率）。
专利许可
HEVC要求所有使用H.265技术的内容制造商（包括Apple，YouTube，Netflix，Facebook和Amazon）都要支付其内容收入的0.5％作为技术使用费。 整个流媒体市场每年达到约100亿美元，而且还在继续增长。在增长中，征收0.5％的税绝对是一笔不小的费用。 他们并没有放过设备制造商，其中电视制造商需要为每台设备支付1.5美元，移动设备制造商为每台设备支付0.8美元的专利费。 他们甚至没有放过蓝光设备播放器，游戏机和录像机等制造商，每家制造商必须支付1.1美元。
H.265 / HEVC的开源实现
libde265 HEVC由struktur公司根据开放源代码许可证GNU较小通用公共许可证（LGPL）提供，并且观看者可以在较慢的Internet速度下欣赏最高质量的图像。 与以前的基于H.264标准的解码器相比，libde265 HEVC解码器可以将您的全高清内容带给两倍的观众，或者将流传输所需的带宽减少50％。
x265由MulticoreWare开发，并根据GPL协议开源。
VP8
介绍
VP8是一种开放式视频压缩格式，最早由On2 Technologies开发，然后由Google发布。 同时，Google还发布了VP8编码的实现库：libvpx，它以BSD许可条款的形式发布，并随后增加了使用专利的权利。 经过一番争论，VP8的授权最终被确认为开源授权。
当前，支持VP8的Web浏览器是Opera，Firefox和Chrome。
专利许可
2013年11月，Google与MPEG LA和8个专利持有人达成协议，允许Google获得VP8及其以前的VPx以及可能侵犯专利的其他编码。 同时，Google还可以免费向VP8用户重新授权相关专利。 ，该协议也适用于下一代VPx编码。 到目前为止，MPEG LA已经放弃了VP8专利集中许可联盟的建立，并且VPXNUMX用户将能够确定免费使用此代码，而不必担心专利侵权的专利使用费。
VP8的开源实现
Libvpx是VP8的唯一开源实现。 它是由On2 Technologies开发的。 Google收购它后，便打开了源代码。 该许可证非常宽松，可以自由使用。
VP9
介绍
VP9的开发始于2011年第三季度。目标是在相同图像质量下，与VP50编码相比，将文件大小减少8％。 另一个目标是在编码效率上超越HEVC编码。
13年2012月9日，Chromium浏览器添加了对VP9编码的支持。 Chrome浏览器从21年2013月XNUMX日开始支持VPXNUMX编码的视频播放。
Google宣布将于9年17月2013日完成VP9代码的开发，届时Chrome浏览器将默认指导VP18代码。 2014年9月XNUMX日，Mozilla向Firefox浏览器添加了VPXNUMX支持。
3年2015月1.4.0日，Google发布了libvpx10，该版本增加了对12位和4位位深，2：2：4和4：4：9色度采样以及VPXNUMX多核编码/解码的支持。
专利许可
VP9是一种开放格式的免版税视频编码格式。
VP9的开源实现
libvpx是由Google开发和维护的唯一的VP9开源实现。 VP8和VP9共享一些代码，其余分别是VP8和VP9的编解码器实现。
VP9与H.264和HEVC的比较
HEVC和H.264在不同分辨率下的比较
与H.264 / MPEG-4相比，HEVC的平均比特率降低为：
可以看出，比特率下降了60％以上
HEVC（H.265）在VP9和H.264的比特率节省方面具有更大的优势，在相同的PSNR下，分别节省了48.3％和75.8％
H.264在编码时间方面具有巨大优势。 与VP9和HEVC（H.265）相比，HEVC是VP6的9倍，而VP9是H.40的近264倍。
