音视频开发与学习

 我们首先假设某人对音频和视频的了解为零，并且从未学习过任何与数字信号处理相关的知识。 数学基础基本上是高中阶段的，但他熟悉C / C ++开发，至少熟悉特定平台下的编译和调试IDE。

 

关注两个开源项目ffmpeg和webRTC，主要研究ffmpeg的视频部分和webRTC的音频部分。

 

首先， 从视频解码开始。 这是最简单的一种。 调用ffmpeg视频解码的基本代码只有100行左右。 视频解码只需要了解h.264，80%+场景都是这种编码格式，了解基本的H.264 sps pps NAL等文件格式概念，了解YUV图像格式原理，了解YUV转RGB ，这样就可以做图像渲染，可以实现一个简单的视频播放器。 （基本在第一阶段）

 

然后，要了解视频编码，建议从x264开始，对x264编码的简单调用少于100行。 编码比解码更复杂，因为解码不需要配置任何参数，并且编码具有大量需要配置的参数。 刚开始时，仅了解一些基本概念，例如帧速率，常用的流控制方法ABR CRF，GOP，I / B / P Frame分别是什么意思。 （再次熟悉X264编码）

 

音频部分的编解码器类似于视频的编解码器。 在初始阶段，您只需要了解EAAC +和Silk两种编码器，了解声音通道，采样率等概念，并了解Wave文件格式。 可以是一个简单的音频播放器。 （制作音频播放器）

 

音频的复杂部分不是编解码器，而是声音效果。 查看webRTC中的音频处理模块，了解以下概念：去噪NS，回声消除AEC，静音检测VAD，自动增益控制AGC和内置的webRTC。 尽管该算法不是最佳算法，但它可以解决90％以上的问题，值得学习。 （了解webrtc音频处理）

 

了解了这一点之后，我需要考虑一个问题，是要采用工程路线还是算法路线。 如果这是一条算法路线，那么我必须学习数学。 数字信号处理的背后是大量的基本数学理论。 如果这是一条工程路线，那么您必须学习跨平台开发，学习在多个平台下的音频和视频的收集，回放和处理，以及学习在多个平台下的汇编语言优化。 （与平台有关）

 

音频和视频是一个很深的领域，您将一生都无法完成学习，但是该领域的优势在于知识更新的速度相对较慢，所学到的东西不容易消除，并且经验的积累非常重要。

我们的其他产品：

铁塔专业防雷系统	专业调频电台设备包	FMUSER FU-1000C 1000W FM 发射器，带 USB 音频输入接口
FMUSER 200W FM 广播包	酒店IPTV解决方案	FMUSER FSN-1000T V5.0 1KW 调频广播发射机