[移动开发]从零开发一款Android RTMP播放器，零基础开发android

oarplayer当初使用srs-librtmp是基于srs-librtmp代码的可读性考虑。oarplayer有相当高的模块化特性，可以很方便的替换各个rtmp lib实现。这里介绍srs-librtmp接口：

1. 创建srs_rtmp_t对象：srs_rtmp_create(url);

2. 设置读写超时时间：srs_rtmp_set_timeout;

3. 开始握手：srs_rtmp_handshake;

4. 开始连接：srs_rtmp_connect_app;

5. 设置播放模式：srs_rtmp_play_stream;

6. 循环读取音视频包：srs_rtmp_read_packet(rtmp, &type, &timestamp, &data, &size);

7. 解析音频包：

8. 获取编码类型：srs_utils_flv_audio_sound_format;

9. 获取音频采样率：srs_utils_flv_audio_sound_rate;

10. 获取采样位深：srs_utils_flv_audio_sound_size;

11. 获取声道数：srs_utils_flv_audio_sound_type;

12. 获取音频包类型：srs_utils_flv_audio_aac_packet_type;

13. 解析视频包：

14. 获取编码类型：srs_utils_flv_video_codec_id;

15. 是否关键帧：srs_utils_flv_video_frame_type;

16. 获取视频包类型：srs_utils_flv_video_avc_packet_type;

17. 解析metadata类型；

18. 销毁srs_rtmp_t对象：srs_rtmp_destroy;

这里有个小技巧，我们在拉流线程中，循环调用srs_rtmp_read_packet方法，可以通过srs_rtmp_set_timeout设置超时时间，但是如果超时时间设置的太短，会导致频繁的唤起线程，如果设置超时时间太长，我们在停止时，必须等待超时结束才会能真正结束。这里我们可以使用poll模型，将rtmp的tcp socket放入poll中，再放入一个管道fd，在需要停止时向管道写入一个指令，唤醒poll，直接停止rtmp拉流线程。

5. 主要数据结构

5.1 package结构：

typedef struct OARPacket {

int size;//包大小

PktType_e type;//包类型

int64_t dts;//解码时间戳

int64_t pts;//显示时间戳

int isKeyframe;//是否关键帧

struct OARPacket *next;//下一个包地址

uint8_t data[0];//包数据内容

}OARPacket;

5.2 package队列：

typedef struct oar_packet_queue {

PktType_e media_type;//类型

pthread_mutex_t *mutex;//线程锁

pthread_cond_t *cond;//条件变量

OARPacket *cachedPackets;//队列首地址

OARPacket *lastPacket;//队列最后一个元素

int count;//数量

int total_bytes;//总字节数

uint64_t max_duration;//最大时长

void (*full_cb)(void *);//队列满回调

void (*empty_cb)(void *);//队列为空回调

void *cb_data;

} oar_packet_queue;

5.3 Frame类型

typedef struct OARFrame {

int size;//帧大小

PktType_e type;//帧类型

int64_t dts;//解码时间戳

int64_t pts;//显示时间戳

int format;//格式（用于视频）

int width;//宽（用于视频）

int height;//高（用于视频）

int64_t pkt_pos;

int sample_rate;//采样率(用于音频)

struct OARFrame *next;

uint8_t data[0];

}OARFrame;

5.4 Frame队列

typedef struct oar_frame_queue {

pthread_mutex_t *mutex;

pthread_cond_t *cond;

OARFrame *cachedFrames;

OARFrame *lastFrame;

int count;//帧数量

unsigned int size;

} oar_frame_queue;

6. 解码线程

我们的rtmp流拉取、解码、渲染、音频输出都在C层实现。在C层，Android 21之后系统提供了AMediaCodec接口，我们直接find_library(media-ndk mediandk),并引入<media/NdkMediaCodec.h>头文件即可。对于Android 21之前版本，可以在C层调用Java层的MediaCodec。下面分别介绍两种实现：

6.1 Java层代理解码

Java层MediaCodec解码使用步骤：

1. 创建解码器：codec = MediaCodec.createDecoderByType(codecName);

2. 配置解码器格式：codec.configure(format, null, null, 0);

3. 启动解码器：codec.start()

4. 获取解码输入缓存ID：dequeueInputBuffer

5. 获取解码输入缓存：getInputBuffer

6. 获取解码输出缓存：dequeueOutputBufferIndex

7. 释放输出缓存：releaseOutPutBuffer

8. 停止解码器：codec.stop();

Jni层封装对应的调用接口即可。

6.2 C层解码器使用

C层接口介绍：

1. 创建Format：AMediaFormat_new;

2. 创建解码器：AMediaCodec_createDecoderByType;

3. 配置解码参数：AMediaCodec_configure;

4. 启动解码器：AMediaCodec_start;

5. 输入音视频包：

6. 获取输入buffer序列：AMediaCodec_dequeueInputBuffer

7. 获取输入buffer：AMediaCodec_getInputBuffer

8. 拷贝数据：memcpy

9. 输入buffer放入解码器：AMediaCodec_queueInputBuffer

10. 获取解码后帧：

11. 获取输出buffer序列：AMediaCodec_dequeueOutputBuffer

12. 获取输出buffer：AMediaCodec_getOutputBuffer

我们发现不管是Java层还是C层的接口都是提供了类似的思路，其实他们最终调用的还是系统的解码框架。

这里我们可以根据系统版本来觉得使用Java层接口和C层接口，我们的oarplayer，主要的代码都是在C层实现，所以我们也有限使用C层接口。

7. 音频输出线程

音频输出我们使用opensl实现，之前文章介绍过Android音频架构，其实也可以使用AAudio或者Oboe。这里再简单介绍下opensl es的使用。

1. 创建引擎：slCreateEngine(&engineObject, 0, NULL, 0, NULL, NULL);

2. 实现引擎：(*engineObject)->Realize(engineObject, SL_BOOLEAN_FALSE);

3. 获取接口：(*engineObject)->GetInterface(engineObject, SL_IID_ENGINE, &engineEngine);

4. 创建输出混流器：(*engineEngine)->CreateOutputMix(engineEngine, &outputMixObject, 0, NULL, NULL);;

5. 实现混流器：(*outputMixObject)->Realize(outputMixObject, SL_BOOLEAN_FALSE);

6. 配置音频源：SLDataLocator_AndroidSimpleBufferQueue loc_bufq = {SL_DATALOCATOR_ANDROIDSIMPLEBUFFERQUEUE, 2};

7. 配置Format：SLDataFormat_PCM format_pcm = {SL_DATAFORMAT_PCM, channel, SL_SAMPLINGRATE_44_1,SL_PCMSAMPLEFORMAT_FIXED_16, SL_PCMSAMPLEFORMAT_FIXED_16,SL_SPEAKER_FRONT_LEFT | SL_SPEAKER_FRONT_RIGHT, SL_BYTEORDER_LITTLEENDIAN};

8. 创建播放器：(*engineEngine)->CreateAudioPlayer(engineEngine,&bqPlayerObject, &audioSrc, &audioSnk,2, ids, req);

9. 实现播放器：(*bqPlayerObject)->Realize(bqPlayerObject, SL_BOOLEAN_FALSE);

10. 获取播放接口：(*bqPlayerObject)->GetInterface(bqPlayerObject, SL_IID_PLAY, &bqPlayerPlay);

11. 获取缓冲区接口：(*bqPlayerObject)->GetInterface(bqPlayerObject, SL_IID_ANDROIDSIMPLEBUFFERQUEUE,&bqPlayerBufferQueue);

12. 注册缓存回调：(*bqPlayerBufferQueue)->RegisterCallback(bqPlayerBufferQueue, bqPlayerCallback, oar);

13. 获取音量调节器：(*bqPlayerObject)->GetInterface(bqPlayerObject, SL_IID_VOLUME, &bqPlayerVolume);

14. 缓存回调中不断的从音频帧队列读取数据，并写入缓存队列：(*bqPlayerBufferQueue)->Enqueue(bqPlayerBufferQueue, ctx->buffer,(SLuint32)ctx->frame_size);

上面就是音频播放的opensl es接口使用介绍。

8. 渲染线程

相比较于音频播放，视频渲染可能更复杂一些，除了opengl引擎创建，opengl线程创建，oarplayer使用的是基于音频的同步方式，所以在视频渲染时还需要考虑音视频同步问题。

8.1 OpenGL引擎创建

1. 生成buffer：glGenBuffers

2. 绑定buffer：glBindBuffer(GL_ARRAY_BUFFER, model->vbos[0])

3. 设置清屏色：glClearColor

4. 创建纹理对象：texture2D

5. 创建着色器对象：glCreateShader

6. 设置着色器源码：glShaderSource

7. 编译着色器源码：glCompileShader

8. 附着着色器：glAttachShader

9. 连接着色器：glLinkProgram

opengl与硬件交互还需要EGL环境，下面展示EGL初始化流程代码：

static void init_egl(oarplayer * oar){

oar_video_render_context *ctx = oar->video_render_ctx;

const EGLint attribs[] = {EGL_SURFACE_TYPE, EGL_WINDOW_BIT, EGL_RENDERABLE_TYPE,

EGL_OPENGL_ES2_BIT, EGL_BLUE_SIZE, 8, EGL_GREEN_SIZE, 8, EGL_RED_SIZE,

8, EGL_ALPHA_SIZE, 8, EGL_DEPTH_SIZE, 0, EGL_STENCIL_SIZE, 0,

EGL_NONE};

EGLint numConfigs;

ctx->display = eglGetDisplay(EGL_DEFAULT_DISPLAY);

EGLint majorVersion, minorVersion;

eglInitialize(ctx->display, &majorVersion, &minorVersion);

eglChooseConfig(ctx->display, attribs, &ctx->config, 1, &numConfigs);

ctx->surface = eglCreateWindowSurface(ctx->display, ctx->config, ctx->window, NULL);

EGLint attrs[] = {EGL_CONTEXT_CLIENT_VERSION, 2, EGL_NONE};

ctx->context = eglCreateContext(ctx->display, ctx->config, NULL, attrs);

EGLint err = eglGetError();

if (err != EGL_SUCCESS) {

LOGE(“egl error”);

}

if (eglMakeCurrent(ctx->display, ctx->surface, ctx->surface, ctx->context) == EGL_FALSE) {

LOGE("------EGL-FALSE");

}

eglQuerySurface(ctx->display, ctx->surface, EGL_WIDTH, &ctx->width);

eglQuerySurface(ctx->display, ctx->surface, EGL_HEIGHT, &ctx->height);

initTexture(oar);

oar_java_class * jc = oar->jc;

JNIEnv * jniEnv = oar->video_render_ctx->jniEnv;

jobject surface_texture = (*jniEnv)->CallStaticObjectMethod(jniEnv, jc->SurfaceTextureBridge, jc->texture_getSurface, ctx->texture[3]);

ctx->texture_window = ANativeWindow_fromSurface(jniEnv, surface_texture);

}

8.2 音视频同步

常见的音视频同步有三种：

1. 基于视频同步；

2. 基于音频同步；

3. 基于第三方时间戳同步。

这里我们使用基于音频帧同步的方法，渲染画面时，判断音频时间戳diff与视频画面渲染周期，如果大于周期，则等待，如果大于0小于周期，如果小于0则立马绘制。

下面展示渲染代码：

/**

• @param oar

• @param frame

• @return 0 draw

•     -1   sleep 33ms  continue
  

《Android学习笔记总结+最新移动架构视频+大厂安卓面试真题+项目实战源码讲义》

【docs.qq.com/doc/DSkNLaERkbnFoS0ZF】 完整内容开源分享

-2 break

*/

static inline int draw_video_frame(oarplayer *oar) {

// 上一次可能没有画， 这种情况就不需要取新的了

if (oar->video_frame == NULL) {

oar->video_frame = oar_frame_queue_get(oar->video_frame_queue);

}

// buffer empty ==> sleep 10ms , return 0

// eos ==> return -2

if (oar->video_frame == NULL) {

_LOGD(“video_frame is null…”);

usleep(BUFFER_EMPTY_SLEEP_US);

return 0;