[移动开发]android 音视频硬编码

前言

年前在做音视频对讲方面的研究，经过一番曲折，总算有所回报，春晚也没啥好看的，干脆对这段时间走过的坑，做个记录。

音视频对讲，需要将相机实时预览的图像数据，以及麦克风音频数据进行编码处理，而编码又分为软编和硬编，毫无疑问，能用硬编就用硬编，而安卓硬编，绕不开MediaCodec。

MediaCodec

关于MediaCodec，官方文档有着详细的解答，这里就不赘述了。

我这里需要将相机实时预览的YUV数据，编码为H.264格式的数据，在开始编码之前，首先要

        MediaFormat mediaFormat = MediaFormat.createVideoFormat(MIMETYPE_VIDEO_AVC, width, height);
        mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Flexible);
        mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, width * height * 5);
        mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 30);
        mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 1);
        try {
            mMediaCodec = MediaCodec.createEncoderByType(MIMETYPE_VIDEO_AVC);
            mMediaCodec.configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
            mMediaCodec.start();
        } catch (Exception e) {
            e.printStackTrace();
        }

接下来就可以传入数据进行编码了

        try {
            int inputBufferIndex = mMediaCodec.dequeueInputBuffer(TIMEOUT_S);
            if (inputBufferIndex >= 0) {
                ByteBuffer inputBuffer = null;
                if (android.os.Build.VERSION.SDK_INT >= android.os.Build.VERSION_CODES.LOLLIPOP) {
                    inputBuffer = mMediaCodec.getInputBuffer(inputBufferIndex);
                } else {
                    inputBuffer = mMediaCodec.getInputBuffers()[inputBufferIndex];
                }
                inputBuffer.clear();
                inputBuffer.put(input);
                mMediaCodec.queueInputBuffer(inputBufferIndex, 0, input.length, getPTSUs(), 0);
            }
            MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
            int outputBufferIndex = mMediaCodec.dequeueOutputBuffer(bufferInfo, TIMEOUT_S);
            if (outputBufferIndex == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
                MediaFormat newFormat = mMediaCodec.getOutputFormat();
                if (null != mEncoderCallback) {
                    mEncoderCallback.onOutputFormatChanged(H264_ENCODER, newFormat);
                }
            }
            while (outputBufferIndex >= 0) {
                ByteBuffer outputBuffer = null;
                if (android.os.Build.VERSION.SDK_INT >= android.os.Build.VERSION_CODES.LOLLIPOP) {
                    outputBuffer = mMediaCodec.getOutputBuffer(outputBufferIndex);
                } else {
                    outputBuffer = mMediaCodec.getOutputBuffers()[outputBufferIndex];
                }
                if (bufferInfo.flags == MediaCodec.BUFFER_FLAG_CODEC_CONFIG) {
                    bufferInfo.size = 0;
                }
                if (bufferInfo.size > 0) {
                    outputBuffer.position(bufferInfo.offset);
                    outputBuffer.limit(bufferInfo.offset + bufferInfo.size);
                    bufferInfo.presentationTimeUs = getPTSUs();
                    if (mEncoderCallback != null) {
                        mEncoderCallback.onEncodeOutput(H264_ENCODER, outputBuffer, bufferInfo);
                    }
                    prevOutputPTSUs = bufferInfo.presentationTimeUs;
                }
                mMediaCodec.releaseOutputBuffer(outputBufferIndex, false);
                bufferInfo = new MediaCodec.BufferInfo();
                outputBufferIndex = mMediaCodec.dequeueOutputBuffer(bufferInfo, TIMEOUT_S);
            }
        } catch (Throwable throwable) {
            throwable.printStackTrace();
        }

同时，将麦克风录制的PCM数据，编码为AAC格式的数据，同理，在开始编码之前

        MediaFormat mediaFormat = MediaFormat.createAudioFormat(MIMETYPE_AUDIO_AAC, sampleRateInHz, channelConfig == AudioFormat.CHANNEL_IN_MONO ? 1 : 2);
        mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, 64000);
        mediaFormat.setInteger(MediaFormat.KEY_MAX_INPUT_SIZE, AudioRecord.getMinBufferSize(DEFAULT_SAMPLE_RATE_IN_HZ, DEFAULT_CHANNEL_CONFIG, DEFAULT_ENCODING) * 3);
        mediaFormat.setInteger(MediaFormat.KEY_CHANNEL_COUNT, channelConfig == AudioFormat.CHANNEL_IN_MONO ? 1 : 2);
        try {
            mMediaCodec = MediaCodec.createEncoderByType(MIMETYPE_AUDIO_AAC);
            mMediaCodec.configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
            mMediaCodec.start();
        } catch (Exception e) {
            e.printStackTrace();
        }