[移动开发]音视频研究

现在客户端三大技术含金量方向：跨端引擎及平台建设、APM平台建设及治理、音视频方向。

近几年随着4g的普及和5g的热演，带宽和流量问题有了飞跃的发展也促使了视频概念类应用在移动领域的蓬勃发展。本人之前在公司项目中也研究过一段时间的音视频相关技术，领域技术主要涉及音视频的编解码，渲染，播放，水印，特效，推流，合流，多路视频等技术。视频落地场景又分为直播，短视频，长视频（vlog）等。总体来说音视频的开发者有两条路可选，其一是以底层编解码算法为主的，其二是以音视频业务为主的。第一种需要强大的数学功底，门槛比较高，少数人会选择走这条路。第二条路我相信是大部份人的首选，下面我也以个人的一些经验和参考的一些学习资料给大家提供下音视频业务所需的技术栈：

平台相关性：

1.视频播放，系统提供的API控制视频的播放和暂停。学习一些开源框架，比如视频缓存，多文件格式播放支持等

2.使用平台提供的音频处理api处理音频PCM的数据的采集和播放，以Android为例：AudioRecord 和 AudioTrack需要熟练掌握

3.使用平台提供的相机接口Camera相关的api，对视频的采集和预览，播放等，以Android为例：Camera相关api，SurfaceView，TextureView等进行预览和数据采集

4.使用平台提供的api对视频文件的解封和合成，以Android为例：MediaExtractor 和 MediaMuxer的熟练掌握

5.硬编码涉及到的平台接口，理解内部实现原理，生命周期，流程等完成对音视频文件的编解码，以主流的aac和h264为优先，以Android为例：MediaCodec API

非平台（跨平台）相关：

1.视频的渲染，使用OpenGL或者其他图形库（Vulkan等）对视频帧进行二次渲染，比如加滤镜，水印，动效等等，当然也可以使用平台提供的api，例Android 平台 OpenGL ES API。

2.学习使用ffmpeg做软编解码，视频裁剪等功能，针对不同平台做移植，库裁剪，扩展等

3.学习优秀的音视频开源框架，比如ffmpeg，ijkplayer，librtmp 等等

4.视频的格式，协议等学习及了解，比如mp4，m3u8可以对秒播等场景有优化作用

5.音视频编码协议的深入理解，针对h264，aac等协议深入理解，并针对协议做一些优化等，对音视频的编解码，多路音频处理等运用

6.学习音视频相关的网络协议，比如rtmp，hls

场景落地及优化

1.以短视频场景落地音视频技术方案，对视频断点录制，播放，特效渲染，音频处理等实现一个简易的app

2.针对不同场景进行音视频播放体验的优化，比如视频流秒播，跨页面续播，直播页面秒播等

3.针对音视频处理做优化

后面我们会陆续分享一些音视频相关的知识，也希望音视频的生态越发的繁荣。

附：美团外卖商家端视频探索之旅