FMUSER更轻松地传输视频和音频!
es.fmuser.org
it.fmuser.org
fr.fmuser.org
de.fmuser.org
af.fmuser.org ->荷兰语
sq.fmuser.org ->阿尔巴尼亚人
ar.fmuser.org ->阿拉伯语
hy.fmuser.org - >亚美尼亚
az.fmuser.org ->阿塞拜疆
eu.fmuser.org ->巴斯克
be.fmuser.org ->白俄罗斯语
bg.fmuser.org - >保加利亚
ca.fmuser.org ->加泰罗尼亚语
zh-CN.fmuser.org ->中文(简体)
zh-TW.fmuser.org - >中国(繁体)
hr.fmuser.org ->克罗地亚语
cs.fmuser.org ->捷克
da.fmuser.org ->丹麦语
nl.fmuser.org - >荷兰
et.fmuser.org ->爱沙尼亚语
tl.fmuser.org ->菲律宾
fi.fmuser.org ->芬兰语
fr.fmuser.org - >法国
gl.fmuser.org ->加利西亚语
ka.fmuser.org ->乔治亚
de.fmuser.org ->德语
el.fmuser.org - >希腊
ht.fmuser.org ->海地克里奥尔语
iw.fmuser.org ->希伯来语
hi.fmuser.org ->印地语
hu.fmuser.org - >匈牙利
is.fmuser.org ->冰岛语
id.fmuser.org ->印尼语
ga.fmuser.org ->爱尔兰
it.fmuser.org - >意大利
ja.fmuser.org ->日语
ko.fmuser.org ->韩文
lv.fmuser.org ->拉脱维亚
lt.fmuser.org - >立陶宛
mk.fmuser.org ->马其顿语
ms.fmuser.org ->马来语
mt.fmuser.org ->马耳他语
no.fmuser.org - >挪威
fa.fmuser.org ->波斯语
pl.fmuser.org ->波兰语
pt.fmuser.org ->葡萄牙语
ro.fmuser.org - >罗马尼亚
ru.fmuser.org ->俄语
sr.fmuser.org ->塞尔维亚语
sk.fmuser.org ->斯洛伐克
sl.fmuser.org - >斯洛文尼亚
es.fmuser.org ->西班牙语
sw.fmuser.org ->斯瓦希里语
sv.fmuser.org ->瑞典语
th.fmuser.org - >泰国
tr.fmuser.org ->土耳其语
uk.fmuser.org ->乌克兰语
ur.fmuser.org ->乌尔都语
vi.fmuser.org - >越南
cy.fmuser.org ->威尔士语
yi.fmuser.org - >意第绪语
RTC(实时通信)是一种新兴的风口行业。 在短短的一年内,许多参与者进入了该行业。 最典型的应用是实时视频和音频-视频通信。 但是,许多开发人员仍然对某些概念感到困惑,例如RTC和webrtc,RTC和实时广播,RTC和im。
1,RTC和webrtc有什么区别?
实时通信(RTC)最有可能与webrtc混淆。 实际上,它们不能用等号标记。
RTC包含许多链接,例如功能流程中的收集,编码,预处理,传输,解码,缓冲和渲染。 上图显示了RTC通信的简要流程。 每个细分市场都有更多细分的技术模块。 例如,预处理链接包括美容,滤波器,回声消除,噪声抑制等,并收集麦克风阵列。 VP8,VP9,H.264,h.265等用于编码和解码。
上图显示了RTC与webrtc之间的关系,而webrtc是RTC的一部分。 Webrtc是用于网页实时通信的标准开源项目。 仅提供基本的前端功能实现,包括编码解码和抖动缓冲区。 如果开发人员希望使用基于webrtc开发人员的项目,则他/她需要执行一系列特定的工作,例如服务器实现和部署,发信号通知前端和后端选择和部署以及移动电话适配。 此外,在可用性和高质量方面进行了大量改进和修饰,并且还需要自我改进和修饰。个人发展能力的门槛非常高。 一个专业的RTC技术服务系统不仅需要包括上述通信链路,还需要解决Internet不稳定的专用通信网络,以及Internet通道的高容限音频和视频信号处理算法。 当然,常规云服务的高可用性,服务质量的保证以及监视和维护工具只能被视为专业服务提供商的基本模块。 因此,webrtc只是RTC技术堆栈中的一些小型分段技术组合,并不是完整的堆栈解决方案。
2,RTC和直播之间有什么区别?
上图为RTC与直播b的关系路演。 RTC的具体应用之一是直播场景中的直播,即低延迟直播。 一般来说,常见的直播,一般使用TCP协议,使用CDN进行内容分发,会有几秒甚至更多秒的延迟,主持人与观众的互动只能通过短信或者礼物的方式进行. 而直播连麦,采用UDP协议,内容实时传输,主持人和观众可以进行音视频互动,实时交流,时延一般低至数百毫秒。
因此,RTC堆栈包含什么技术,我们将提供一系列文章来解释RTC技术堆栈。
RTC堆栈的视频编码和解码
RTC堆栈的音频编解码器
RTC堆栈的音频视频预处理
实时传输RTC堆栈
RTC技术堆栈的QoE质量保证
本文是视频编解码器系列文章中的第一篇
视频编解码器的现状:
视频编解码器的功能是在相机收集图像并进行预处理并将其用于传输之后,对图像进行压缩和编码。 编解码器的优缺点是:压缩效率,速度和功耗。
目前,主流视频编码器分为三个系列:VPX(VP8,VP9),H.26X(H.264,h.265),AVS(avs1.0,avs2.0)
VP8是on2技术的第八代视频编解码器标准,它是视频压缩解决方案制造商。 Google收购on2之后,便打开了VP8并将其应用于webrtc。 目前,Google还在推动新一代编解码器标准VP9。
H. 264,是由ITU-T视频编码专家组(VCEG)和iso/iec动态图像专家组(MPEG)组成的联合视频组(JVT,joint video team)提出的高压缩数字视频编解码国际标准。 Webrtc 还支持 H.264。
VP8 和H.264是十多年前发明的标准,属于同一代技术。 这两个标准都处于成熟的发展阶段,编码效率、运算复杂度和功耗都达到了较好的平衡。 技术和应用水平也略有不同。 例如,硬件厂商广泛支持H.264,而VP8 支持有限。
VP9,2011年开始开发。VP9的目标之一是在保证同等质量的情况下,比特率比VP50降低8%左右。 也就是说,同样的码率,VP9可以比VP8有明显的提升。 VP9 的一大优势是专利费,谷歌声称可以免费使用。 这一点与H.264和h.265不同(虽然思科在264年开放了open2013,声称可以在不修改open264代码的情况下支付相关专利费用)。
H. 265 目的是在有限的带宽下传输更高质量的网络视频,播放相同质量的视频只需要原来带宽的一半。 它具有与H.264类似的算法架构,并改进了一些相关技术,极大地提高了视频质量。 例如,H.264编码器可以实现1Mbps码率的标准清晰数字视频压缩; h.265编码器可以编码720p或更高分辨率的高清视频,码率相同。 这也意味着,在目前的家庭网络中,我们的智能手机、平板电脑等移动设备将可以直接在线播放1080p全高清视频。 同时,h.265标准还支持4K和8K超高清视频。
VP9和h.265是最近五年制定的标准,是已完成标准中最高的压缩效率。 同样,h.265是国际标准,而VP9是Google主推的当前标准。 H.265在硬件中得到广泛支持。 苹果,高通和英特尔等芯片都支持h.265硬件编解码器。 VP9硬件支持仍然非常有限。 一般而言,新一代编码器的编码效率与上一代产品相比可提高30-50%,但复杂度和功耗将比上一代产品大得多。 因此,纯软件编码的实现存在一定的瓶颈。 在现有技术下,仍然需要依靠硬件编码和解码。
AVS是中国具有自主知识产权的第二代源编码标准。 目前,avs1.0已在第三世界国家中广泛使用。 Avs2.0,它是与h.265和VP9处于同一级别的新一代标准。
编码器只是标准和语法,并不限制应用方案。 因此,在实际应用中,应结合场景特征来改善和优化深度。 声音网络的视频编码器对实时的音频和视频通信进行了深刻的改进,更适合公共互联网的特性,并大大提高了其实时性和质量。 特别是,它结合了网络的深度,同时还考虑了丢包和网络带宽的波动。
视频编解码器的探索方向:
1. VR视频标准
VR视频标准是学术和商业应用中的热门研究方向之一。 在2016年的RTC会议上,我们邀请王荣刚教授分享VR视频内容生成技术和编码标准。 王荣刚教授目前是国际MPEG互联网视频压缩标准小组的联合负责人和IEEE虚拟现实视频内容编码标准小组的负责人。
据王荣刚教授介绍,VR视频编码持续解决的技术问题是:图像显示质量、合成质量和传输带宽。
通过应用现有的视频压缩标准,已将VR视频编码用于VR场景。 但是,由于VR视频内容的特殊性和网络带宽的限制,当前的标准不能满足VR视频的压缩要求。 业界对VR视频压缩标准寄予厚望。 将来,高级VR视频格式应该是免费的沉浸式立体声视频:在特定空间内随时随地+随时随地+任意观看+立体声沉浸式体验。
2.高分辨率要求
在H.264时代,编码器主要用于低于HD的中小型分辨率,并略微考虑了1080p高分辨率。
但是在h.265时代,w随着更好的硬件设备和更高的带宽,用户开始要求更高的视频分辨率。 人们开始发现对视频质量的要求是无止境的。 因此,新一代编码器更倾向于支持高分辨率,比如4K高分辨率。 新一代编码器压缩效率可提升50%以上。
RTC 2017在第三届实时互联网会议上,来自华为,谷歌,AVS视频小组,AVS音频小组,AVS测试小组,slack,houseparty和Atlas(JIRA)的技术专家参加了会议,分享了对下一个的探索和应用。代编码标准。 这基本上是中国最完整的技术共享聚会。 当然,RTC技术堆栈还有其他模块。 他们致力于进入市场,RTC开发人员不能错过它。
|
输入电子邮件以获取惊喜
es.fmuser.org
it.fmuser.org
fr.fmuser.org
de.fmuser.org
af.fmuser.org ->荷兰语
sq.fmuser.org ->阿尔巴尼亚人
ar.fmuser.org ->阿拉伯语
hy.fmuser.org - >亚美尼亚
az.fmuser.org ->阿塞拜疆
eu.fmuser.org ->巴斯克
be.fmuser.org ->白俄罗斯语
bg.fmuser.org - >保加利亚
ca.fmuser.org ->加泰罗尼亚语
zh-CN.fmuser.org ->中文(简体)
zh-TW.fmuser.org - >中国(繁体)
hr.fmuser.org ->克罗地亚语
cs.fmuser.org ->捷克
da.fmuser.org ->丹麦语
nl.fmuser.org - >荷兰
et.fmuser.org ->爱沙尼亚语
tl.fmuser.org ->菲律宾
fi.fmuser.org ->芬兰语
fr.fmuser.org - >法国
gl.fmuser.org ->加利西亚语
ka.fmuser.org ->乔治亚
de.fmuser.org ->德语
el.fmuser.org - >希腊
ht.fmuser.org ->海地克里奥尔语
iw.fmuser.org ->希伯来语
hi.fmuser.org ->印地语
hu.fmuser.org - >匈牙利
is.fmuser.org ->冰岛语
id.fmuser.org ->印尼语
ga.fmuser.org ->爱尔兰
it.fmuser.org - >意大利
ja.fmuser.org ->日语
ko.fmuser.org ->韩文
lv.fmuser.org ->拉脱维亚
lt.fmuser.org - >立陶宛
mk.fmuser.org ->马其顿语
ms.fmuser.org ->马来语
mt.fmuser.org ->马耳他语
no.fmuser.org - >挪威
fa.fmuser.org ->波斯语
pl.fmuser.org ->波兰语
pt.fmuser.org ->葡萄牙语
ro.fmuser.org - >罗马尼亚
ru.fmuser.org ->俄语
sr.fmuser.org ->塞尔维亚语
sk.fmuser.org ->斯洛伐克
sl.fmuser.org - >斯洛文尼亚
es.fmuser.org ->西班牙语
sw.fmuser.org ->斯瓦希里语
sv.fmuser.org ->瑞典语
th.fmuser.org - >泰国
tr.fmuser.org ->土耳其语
uk.fmuser.org ->乌克兰语
ur.fmuser.org ->乌尔都语
vi.fmuser.org - >越南
cy.fmuser.org ->威尔士语
yi.fmuser.org - >意第绪语
FMUSER更轻松地传输视频和音频!
联系我们
分类目录
订阅电子邮件