关键字：异步音频和视频MPEG-2 PCR DTS PTS编码器解码器
随着我国数字电视的飞速发展以及城市广播电视网络数字化的发展，越来越多的人开始使用机顶盒观看数字电视节目。 但是在通过机顶盒观看电视节目的过程中，观众有时会发现某些音频和视频不同步。 这也引起了我们的注意。
现象与测试
贵阳市于2007年底基本完成了广播电视网络的数字化转型，贵州电视台的节目也进入了数字网络传输。 进入数字网络后，发现本站的几个节目在某些地区出现音视频不同步的现象，尤其是在卫星视频频道和人民频道播出新闻时。 为了找出问题所在，我们决定在程序的整个传输路径上进行口形同步测试。 测试使用的设备是Tektronix WFM7120。 在进行音频/视频延迟测量时，还需要通过TG700 DVG7生成一系列短彩条视频信号，并将音频序列以5s的间隔嵌入到该组视频信号中，然后将其发送到被测系统，最后将信号发送到WFM7120，以测量音频和视频之间的时序差异。
广播控制中心内部测试
如图1所示，为了测量电视台系统中是否存在音频/视频延迟差异，我们使用检查时间将TG700生成的测试信号记录到广播硬盘中，通过硬盘播放，并将测试信号输入到延迟器。 在帧同步模块之后，它在频道上广播，然后我们在传输部门将信号传输到网络公司的编码器之前测量这三个信号。 测量结果表明，这三个信号的音频/视频延迟差不超过12ms，即一个场不够，说明该信号在广播控制中心没有音频和视频同步的问题。
测试不同的机顶盒
对于第二个测量点，我们选择了网络公司的前端计算机室。 如图2所示，我们选择了目前在中国用于测试的机顶盒的主要品牌。 通过我们使用的原始编码器对TG700测试信号进行编码后，将其插入我们当前正在广播的频道中。 然后，使用前端计算机室中的机顶盒对电视信号进行解调。 解码后的音频/视频信号在经过A / D并通过Panasonic D7120录像机嵌入模拟信号之后，再发送到WFM950进行测量。 测量结果表明，这些类型的机顶盒的音频/视频延迟差异是不同的，有些超过150ms，有些落后300ms。 这表明，不同的机顶盒在解调和解码相同的数字电视信号之后，具有不同的能力来维持音频/视频信号之间的同步关系。
测试不同的编码器
如图3所示，我们仍然使用TG700信号发生器来测试不同的编码器，并使编码器，调制器和机顶盒能够构建一个模拟的广播/观看环境。 在这里，我们使用几种不同品牌的编码器。 对TG700的测试信号进行编码后，由同一调制器对其进行调制，然后由同一机顶盒对其进行解码。 它也由D950处理并发送到WFM7120进行测量。 最终的测量结果是它们的某些音频/视频延迟差异为30ms，有的达到300ms，这表明不同的编码器对机顶盒最终观看信号的音频/视频同步具有更大的影响。
原因分析
MPEG-2系统的时序原理
当前，在我国的数字电视传输系统中，MPEG-2标准是重要的音频和视频压缩标准。 它在源端对节目信号进行压缩，编码和多路复用，在接收端对信号进行多路分解和解码。 已被广泛使用。 我们正在使用的数字传输系统基于MPEG-2标准。 让我们看一下MPEG-2的系统结构，如图4所示。
从图4可以看出，在压缩编码器去除了冗余信息之后，音频和视频信号形成了基本流。 该基本代码流不能直接存储或传输。 必须将其发送到特定的包装机。 基本代码流根据某种格式分为几段，并添加特定的标识字符以形成所谓的打包基本代码流（PES）。 PES数据包是具有可变长度的音频和视频数据包。 然后，音频和视频PES数据包以及辅助数据被发送到传输子系统，传输子系统被分成固定长度188b的小数据包，并通过时分复用进行复用。 形成单个TS流，并且TS流在通过信道传输之后到达接收端。
众所周知，同步是正确显示电视的必要条件。 对于数字电视，由于在压缩和编码过程中使用了缓冲区来存储信号，因此多路复用器中信号的时间轴发生了变化，加上数据冗余量也有所不同，压缩率也有所不同，因此时间轴发生了很大的变化，特别是在帧组层处理中，B帧和P帧的顺序也发生了变化。 所有这些使数字电视信号的同步完全失去了原始序列的概念。 一种实现同步的有效方法是，每经过指定的时间间隔，就在信号代码流中添加一个时间标签。 使用此标签，可以在显示之前的解码过程中根据此时间标签对接收端进行重新排序，在压缩和编码之前重建图像的顺序以及声音和图像之间的时间关系，从而实现图像同步和声音与图像同步。
从图4还可以看出，MPEG-27编码器中只有一个公共系统时钟STC（2MHz）。 该时钟用于生成时间戳，以指示音频/视频的正确解码和显示时间。 同时，它可用于指示采样瞬时系统时钟时间的瞬时值。 时钟通过输入视频的线路同步锁相。 当输入为SDI信号时，编码器的系统时钟由时钟除以10生成。这是编码器中常见系统时钟的出现，以及解码器中时钟的重新生成和正确的使用时间戳，这些时间戳为解码器中的操作正确同步提供了基础。 为了实现编解码器的时钟同步，在编码器中对STC系统时钟进行计数，并且每隔一定的传输时间，在选定的TS数据包的适配头中将计数器的采样值传输到接收器，作为解码处理器的程序时钟参考信号，即PCR。 PCR有效位为42b，其中高位33b为PCR_Base，即以27MHz时钟为单位的计数值和时钟除以300；低位9b为PCR_Extension，即以27MHz时钟为单位的计数值作为单位。 除了PCR，解码时间标签DTS和显示时间标签PTS也非常重要。 它们类似于PCR_Base。 它们也是用编码器的27MHz系统时钟除以300作为单位计数值来创建的。 其中，DTS用于指示解码器何时解码接收到的图像和音频帧，而PTS用于通知何时显示解码后的图像帧。
当使用双向编码时，必须在显示特定图像之前的一段时间内对特定图像进行解码，以便可以将其用作对B帧图像进行解码的源数据。 例如，图像的显示顺序是IBBP，但是图像的传输顺序是IPBB。 MPEG参考模型认为解码是瞬时发生的，即解码和显示是同时执行的。 对于音频帧和图像B帧，解码时间和显示时间相同，并且PTS与DTS相同，因此仅需要发送PTS。 对于视频I帧和P帧，由于帧重新排序，解码时间和显示时间不同，并且必须同时发送PTS和DTS。 解码器收到IPBB图像序列时，必须先解码I帧和P帧图像，然后再解码第一个B帧图像。 解码器一次只能解码一帧图像，因此它首先解码I帧图像并将其存储。 当P帧图像被解码时，其输出并显示解码的I帧图像，然后解码并显示B帧图像。 表1、2、3和4列出了编码器的输入和输出图像的顺序，每帧的PTS和DTS值以及解码器对图像的每帧的解码和显示顺序。
在表1中，由13帧图像构成一组图像，第一帧I帧使用帧内编码，第二和第三B帧是通过从第一和第四帧进行双向预测而获得的，第四帧P帧是通过第一帧。 源自前瞻预测。 在对第一帧进行编码之后，编码器首先缓冲第二和第三帧，对第四帧进行编码，然后对第二和第三帧进行编码，依此类推，最终的编码输出序列显示在表2中。
从表3和表4可以看出，当解码器接收到包含I帧图像的某个访问单元时，文件数据包应包含DTS和PTS，这两个标签的值之间的时间间隔为1图像周期。 在I帧图像为P帧之后，文件数据包中还应该有一个DTS和一个PTS，两个标签的值之间的时间间隔为三个图像周期。 然后有两个B帧，其文件数据包仅包含PTS。 也就是说，在解码后经过一帧的延迟之后，将播放并显示I帧图像。 显示I帧时，对第四帧P帧进行解码，但不播放和显示。 首先将其缓存，然后播放并显示2I帧后，立即解码并显示3B帧，然后解码并显示4B帧，然后显示缓冲的7P帧，并同时解码和缓冲1P帧，依此类推。 可以看出，解码和显示的图像序列与表XNUMX中输入的图像序列一致。
解码器的定时原理（机顶盒）
PTS和DTS仅为33b值。 如果没有参考由PCR表示的时间轴，则此值无意义。 为了保持正确的解码，编码器和解码器（机顶盒）的系统时钟必须保持锁定状态，即它们的频率保持相同，并且各自计数器的初始值相同。
解码器（机顶盒）中有一个频率约为27MHz的压控振荡器（VCO）。 输出信号作为系统时钟发送到计数器，以生成当前的STC样本值，类似于PCR，该值是42b的值。 其中，高33b是27粉红频率后以300MHz时钟为单位的计数值，而低9b是以27MHz时钟为单位的计数值。 当新程序到达解码器（机顶盒）时，解码器（机顶盒）从代码流中获取PCR值，将其PCR_Extention值与当前STC的低9b位进行比较，并获得错误信号，然后通过锁相环电路。 调整压控振荡器，使解码器（机顶盒）的系统时钟频率与编码器的系统时钟频率一致。 从代码流中顺序获取每个帧的PTS和DTS值，并将它们与当前STC值的高33b位进行比较。 如果DTS值大于STC值，则对代码流进行缓冲，并同时监视STC值的变化。 当STC值增加到等于DTS值时，对帧代码流进行解码。 当STC值等于PTS值时，播放帧。 如果由于传输网络的缓冲区延迟抖动，当代码流到达解码器（机顶盒）时，其PTS值已经小于STC值，那么解码器（机顶盒）将跳过此帧，并丢弃帧数据。 由于PTS和DTS是根据PCR值生成的，因此必须将获得的第一个PCR值用作初始值，以设置解码器（机顶盒）的STC计数器使其值相同，否则，时基会有所不同。 ，从而解码错误。 音频和视频的处理类似，但是不存在时序重排的问题。 图5示出了解码器（机顶盒）PCR的工作原理图。
音频和视频不同步的原因
在实际应用中，某些编码器由于输入视频信号的时基不稳定而导致其输出时钟抖动，并且帧同步间隔不是40ms。 对于这些编码器，根据PCR和缓冲延迟设置初始DTS值后，通过将固定值添加到先前的DTS来获得每个帧的DTS值（该值可以计算如下：27MHz除以300，即90kHz，PAL TV为每秒25帧，因此该值为90000/25 = 3600），根据帧类型和GOP类型计算PTS值。 但是，在此期间PCR值没有增加3600，这导致DTS和PTS相对于PCR变大或变小。 某些解码器（机顶盒）不使用压控振荡器，其系统时钟为固定的27MHz，但使用接收到的PCR值初始化本地系统时钟计数器的值。 编码器和解码器（机顶盒）无法保持严格的锁定，这可能导致解码器（机顶盒）丢帧。 但是，某些解码器（机顶盒）在帧丢失后不再严格按照DTS和PTS进行解码和显示，而是根据缓冲区的情况进行解码，因为视频和音频编码的延迟不同，可能会导致音频这幅画不同步。
另外，在从编码器到解码器（机顶盒）的传输过程中，由于存在诸如多路复用器和调制器之类的可变延迟缓冲链路，PCR包的传输延迟可能不是恒定的，从大到大。小的。 如果PCR不正确，可能还会出现上述问题。
总结一下
从以上分析可以看出，编码器和解码器（机顶盒）都可能导致音频和视频的异步发生。 经过对各种品牌编码器的测试，本站选择了具有较好测试指标的编码器，并更换了原来的编码器，大大改善了电视音视频不同步的现象。 在引入机顶盒的下一步中，网络公司还将加强对相关指标的测试，以提高收视率。 当然，在推进我国广播电视数字化的过程中，我们仍然需要电视工作者和设备制造商的共同努力，才能最终取得圆满成功。v
我们的其他产品：
