开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 移动开发 -> Android音视频开发（三）——MediaExtractor和MediaMuxer的使用 -> 正文阅读

[移动开发]Android音视频开发（三）——MediaExtractor和MediaMuxer的使用

了解了音视频的编解码过程，我们接下来使用一下经常跟MediaCodec一起搭配的MediaExtractor和MediaMuxer。最后会使用一个简单的demo来了解具体了解这两个工具类的使用过程。这一节我们就先不讲MediaCodec了，放到下节的demo。

一、MediaExtractor

Android提供了一个MediaExtractor类，可以用来分离容器中的视频track和音频track。

主要API介绍：

setDataSource(String path)：即可以设置本地文件又可以设置网络文件
getTrackCount()：得到源文件通道数?
getTrackFormat(int index)：获取指定（index）的通道格式
getSampleTime()：返回当前的时间戳?
readSampleData(ByteBuffer byteBuf, int offset)：把指定通道中的数据按偏移量读取到ByteBuffer中；
advance()：读取下一帧数据
release(): 读取结束后释放资源

MediaExtractor 的使用主要有这么几步：

设置数据源
获取通道数，切换到想要的轨道
循环读取每帧的样本数据
完成后释放资源

二、MediaMuxer

MediaMuxer的作用是生成音频或视频文件；还可以把音频与视频混合成一个音视频文件。

相关API介绍：

MediaMuxer(String path, int format)：path:输出文件的名称 ?format:输出文件的格式；当前只支持MP4格式；
addTrack(MediaFormat format)：添加通道；我们更多的是使用MediaCodec.getOutpurForma()或Extractor.getTrackFormat(int index)来获取MediaFormat;也可以自己创建；
start()：开始合成文件
writeSampleData(int trackIndex, ByteBuffer byteBuf, MediaCodec.BufferInfo bufferInfo)：把ByteBuffer中的数据写入到在构造器设置的文件中；
stop()：停止合成文件
release()：释放资源

参数
`int`	`MUXER_OUTPUT_3GPP` 3GPP媒体文件格式
`int`	`MUXER_OUTPUT_HEIF` HEIF媒体文件格式
`int`	`MUXER_OUTPUT_MPEG_4` MPEG4媒体文件格式
`int`	`MUXER_OUTPUT_OGG` Ogg媒体文件格式
`int`	`MUXER_OUTPUT_WEBM` WEBM媒体文件格式

MediaMuxer的使用步骤：

设置目标文件路径和音视频格式
添加要合成的轨道，包括音轨和视轨
开始合成，循环写入每帧样本数据
完成后释放

三、MediaFormat

????????用MediaCodec来进行编解码，在创建MediaCodec时需要调用configure方法进行配置，Mediaformat则是configure需要传入的一个参数。

?3.1 视频类型的Mediaformat

可以通过如下代码创建视频类型Mediaformat：

MediaFormat videoFormat = MediaFormat.createVideoFormat(videoType, width, height);

方法的参数类型：

videoType常用的有两种:

????????MediaFormat.MIMETYPE_VIDEO_AVC（H.264）
????????MediaFormat.MIMETYPE_VIDEO_HEVC（H.265）

width和height需要根据底层支持的分辨率来设置，如果width和height设置的不符合要求会出现如下错误：
E/CameraCaptureSession: Session 1: Failed to create capture session; configuration failed

对于视频类型而言有下列四个配置是必须指定的：手动配置和直接获取原视频的配置

// 指定编码器颜色格式 
videoFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT,
    MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface);

// 指定帧率
videoFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 30);

// 指定比特率
videoFormat.setInteger(MediaFormat.KEY_BIT_RATE, 10000000);

//指定关键帧时间间隔，一般设置为每秒关键帧
videoFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 1);

?3.2 音频类型的Mediaformat

可以通过如下代码创建音频类型Mediaformat：

MediaFormat audioFormat = MediaFormat.createAudioFormat(audioType, sampleRate, channelCount);

方法的参数类型：

audioType：常用的是MediaFormat.MIMETYPE_AUDIO_AAC
sampleRate：采样率
channelCount：声道数量

单声道 channelCount=1 , 双声道 channelCount=2

对于音频类型而言有一个配置是必须指定的：

//音频比特率（码率）
audioFormat.setInteger(MediaFormat.KEY_BIT_RATE, BIT_RATE);

四、MediaCodec.BufferInfo?

????????用于描述解码得到的byte[]数据的相关信息，每缓冲区元数据包括指定相关编解码器(输出)缓冲区中有效数据范围的偏移量和大小。

主要有四个属性：

int?flags ：与缓冲区关联的缓冲区标志。
int?offset ：缓冲区中数据的起始偏移量。
long?presentationTimeUs ：缓冲区的显示时间戳，以微秒计。这是从相应的输入缓冲区传入的表示时间戳中获得的。对于大小为0的缓冲区，应该忽略这一点。
int?size ：缓冲区中的数据量(以字节为单位)。如果这是0缓冲区中没有数据，可以丢弃。大小为0的缓冲区的唯一用途是携带流结束标记。

flags详解：

与缓冲区关联的缓冲区标志。...的结合MediaCodec.BUFFER_FLAG_KEY_FRAME和MediaCodec.BUFFER_FLAG_END_OF_STREAM.
作为关键帧的编码缓冲区标有MediaCodec.BUFFER_FLAG_KEY_FRAME.
对应于输入缓冲区的最后一个输出缓冲区用MediaCodec.BUFFER_FLAG_END_OF_STREAM也将标有MediaCodec.BUFFER_FLAG_END_OF_STREAM。在某些情况下，这可能是一个空缓冲区，其唯一目的是携带流结束标记。

值是0或以下各项的组合MediaCodec.BUFFER_FLAG_SYNC_FRAME,?MediaCodec.BUFFER_FLAG_KEY_FRAME,?MediaCodec.BUFFER_FLAG_CODEC_CONFIG,?MediaCodec.BUFFER_FLAG_END_OF_STREAM,?MediaCodec.BUFFER_FLAG_PARTIAL_FRAME、以及Android . media . media codec . buffer _ FLAG _ MUXER _ DATA

?BUFFER_FLAG_CODEC_CONFIG?? 常数值:2：这表明如此标记的缓冲区包含编解码器初始化/编解码器特定数据，而不是媒体数据。
BUFFER_FLAG_END_OF_STREAM 常数值:4：这表示流的结束，即在此之后将没有缓冲器可用，当然，除非，flush()如下。
BUFFER_FLAG_KEY_FRAME 常数值:1：这表明如此标记的(编码的)缓冲区包含关键帧的数据。
BUFFER_FLAG_PARTIAL_FRAME 常数值:8：这表示缓冲区只包含一帧的一部分，解码器应该对数据进行批处理，直到在解码该帧之前出现一个没有该标志的缓冲区。
BUFFER_FLAG_SYNC_FRAME 常数值:1：这表明如此标记的(编码的)缓冲区包含关键帧的数据。API 21中不赞成使用此常量。使用BUFFER_FLAG_KEY_FRAME相反，都是关键帧。

五、MediaExtractor和MediaMuxer结合的demo

实现音视频的解封装和封装的过程：

//实现音视频的解封装和封装的过程
public class MediaCodecDemo extends Activity {

    //显示解封装后的视频和音频在SD卡保存的位置
    private TextView tv_out;
    private final String mVideoPath = Environment.getExternalStorageDirectory()
                                     + "/Pictures/送孟浩然之广陵.mp4";
    //解封装和封装在本地使用文件名
    private final String inputAudio = "audio1.aac";
    private final String outPutVideo = "video1.mp4";

    private static final String TAG1 ="解封装MediaExtractor:" ;

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_media_codec);

        initView();
        //提取视频分离出纯音频和纯视频文件
        extractorAndMuxerMP4(mVideoPath);
        //重新合成成音视频文件
        muxerMp4(inputAudio,outPutVideo);
    }

    private void initView() {
        tv_out = findViewById(R.id.tv_out);
    }
}

//提取视频分离出纯音频和纯视频文件
private void extractorAndMuxerMP4(String url){
    //提取数据（解封装）
    //1. 构造MediaExtractor
    MediaExtractor mediaExtractor = new MediaExtractor();
    try {
        //2.设置数据源，数据源可以是本地文件地址，也可以是网络地址：
        mediaExtractor.setDataSource(url);
        //3.获取轨道数
        int trackCount = mediaExtractor.getTrackCount();
        //遍历轨道，查看音频轨或者视频轨道信息
        for (int i = 0; i < trackCount; i++) {
            //4. 获取某一轨道的媒体格式
            MediaFormat trackFormat = mediaExtractor.getTrackFormat(i);
            String keyMime = trackFormat.getString(MediaFormat.KEY_MIME);
            if (TextUtils.isEmpty(keyMime)) {
               continue;
            }
            //5.通过mime信息识别音轨或视频轨道，打印相关信息
            //(默认的是先扫描到视频，在扫描到音频)
            if (keyMime.startsWith("video/")) {
                File outputFile = extractorAndMuxer(mediaExtractor, i, "/video.mp4");
                tv_out.setText("纯视频文件路径：" + outputFile.getAbsolutePath());

            } else if (keyMime.startsWith("audio/")) {
                File outputFile = extractorAndMuxer(mediaExtractor, i, "/audio.aac");
                tv_out.setText(tv_out.getText().toString() + "\n纯音频路径：" 
                                + outputFile.getAbsolutePath());
                tv_out.setVisibility(View.VISIBLE);
            }
        }
    } catch (IOException e) {
        e.printStackTrace();
    }
}

????????通过getTrackFormat(int index)来获取各个track的MediaFormat，通过MediaFormat来获取track的详细信息，如：MimeType、分辨率、采样频率、帧率等等

    //确定是音轨或视频轨道后，文件输出
    private File extractorAndMuxer(MediaExtractor mediaExtractor, int i, String outputName) throws IOException{
        //获取传过来的MediaExtractor对应轨道的trackFormat
        MediaFormat trackFormat = mediaExtractor.getTrackFormat(i);
        MediaMuxer mediaMuxer;
        //选择轨道
        mediaExtractor.selectTrack(i);

        File outputFile = new File(getExternalFilesDir(Environment.DIRECTORY_MUSIC).getAbsolutePath() + outputName);
        if (outputFile.exists()) {
            //如果文件存在，就删除
            outputFile.delete();
        }
        //1. 构造MediaMuxer
        mediaMuxer = new MediaMuxer(outputFile.getAbsolutePath(), MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);
        //2. 添加轨道信息 参数为MediaFormat
        mediaMuxer.addTrack(trackFormat);
        //3. 开始合成
        mediaMuxer.start();
        //4. 设置buffer
        ByteBuffer buffer = ByteBuffer.allocate(500 * 1024);//设置每一帧的大小
        MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();

        //5.通过mediaExtractor.readSampleData读取数据流
        int sampleSize = 0;
        //循环读取每帧的样本数据
        //mediaExtractor.readSampleData(buffer, 0)把指定通道中的数据按偏移量读取到ByteBuffer中
        while ((sampleSize = mediaExtractor.readSampleData(buffer, 0)) > 0) {
            bufferInfo.flags = mediaExtractor.getSampleFlags();
            bufferInfo.offset = 0;
            bufferInfo.size = sampleSize;
            bufferInfo.presentationTimeUs = mediaExtractor.getSampleTime();
            //所有解码的帧都已渲染，我们现在可以停止播放了,虽然这里没有用到
            //一般的使用方法是判断 isEOS是否等于0；
            //int isEOS = bufferInfo.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM;
            //判断输出数据是否为关键帧的方法：
            //boolean keyFrame = (bufferInfo.flags & MediaCodec.BUFFER_FLAG_KEY_FRAME) != 0;
            //6. 把通过mediaExtractor解封装的数据通过writeSampleData写入到对应的轨道
            mediaMuxer.writeSampleData(0, buffer, bufferInfo);
            //读取下一帧数据
            mediaExtractor.advance();
        }
        Log.i(TAG1, "extractorAndMuxer: " + outputName + "提取封装完成");

        mediaExtractor.unselectTrack(i);
        //6.关闭
        mediaMuxer.stop();
        mediaMuxer.release();
        return outputFile;
    }

这里需要科普一下两个正数进行&运算：两个正数进行&运算的值永远小于或等于最小的数。
if ((info.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) { 
    Log.i(TAG, "OutputBuffer BUFFER_FLAG_END_OF_STREAM");       
    break;                                                      
}
????????我们知道BUFFER_FLAG_END_OF_STREAM代表的是2^2，也就是0100。因为是&运算，我们只用关注info.flags二进制第三位即可：为0即上面判断为false，为1即上面判断为true。

正数与负数的与运算：负数的异或操作需要先把数转换成补码才行（头不变取反+1）

两个数互为相反数位与操作可有特殊用途，位与所剩恰为最低位。

两个数互为相反数异或可能有特殊用途，异或后，所剩最低位左移一位。

到此我们就将音视频解封装成了音频和视频，并且保存在了指定文件当中，我们分析一下流程：

构造MediaExtractor（不需要参数） —> 之后的操作使用try/catch包围 —> setDateSource(url)设置本地或者网络资源?—> getTrackConut()获取该资源的通道数 —> for循环通道数 —>?获取某一轨道的媒体格式：getTrackFormat(i)返回一个MediaFormat?—>?判断是什么通道根据trackFormat.getString(MediaFormat.KEY_MIME)返回ketMime的startsWith("?")?。
接下来的操作就确定了音轨和视频轨道，同时确定文件的输出地点。
构造MediaMuxer （需要指定文件和格式）—>?addTrack(trackFormat)添加轨道信息参数为MediaFormat，注意这里的MediaFormat要是对应的轨道?—> start()开始合成?—>?设置ByteBuffer，用于缓存一帧数据?—>?MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo()获取bufferInfo?—>?通过mediaExtractor.readSampleData读取数据流，同时也作为一个while循环的判断条件?—> 配置bufferInfo的四个属性?—> 把通过mediaExtractor解封装的数据通过mediaMuxer.writeSampleData写入到对应的轨道?—> 读取下一帧audioExtractor.advance()。
循环结束之后mediaExtractor.unselectTrack(i)释放选择?—>?mediaMuxer.stop()停止?—> 最后释放mediaMuxer和mediaExtractor。

接下来我们开始合成操作。

    //把音轨和视频轨再合成新的视频
    private String muxerMp4(String inputAudio , String outPutVideo){
        File videoFile = new File(getExternalFilesDir(Environment.DIRECTORY_MUSIC), "video.mp4");
        File audioFile = new File(getExternalFilesDir(Environment.DIRECTORY_MUSIC), inputAudio);
        File outputFile = new File(getExternalFilesDir(Environment.DIRECTORY_MUSIC), outPutVideo);


        if (outputFile.exists()) {
            outputFile.delete();
        }
        if (!videoFile.exists()) {
            Toast.makeText(this, "视频源文件不存在", Toast.LENGTH_SHORT).show();
            return "";
        }
        if (!audioFile.exists()) {
            Toast.makeText(this, "音频源文件不存在", Toast.LENGTH_SHORT).show();
            return "";
        }

        MediaExtractor videoExtractor = new MediaExtractor();
        MediaExtractor audioExtractor = new MediaExtractor();

        try {
            MediaMuxer mediaMuxer = new MediaMuxer(outputFile.getAbsolutePath(), MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);
            int videoTrackIndex = 0;
            int audioTrackIndex = 0;

            //先添加视频轨道
            videoExtractor.setDataSource(videoFile.getAbsolutePath());
            int trackCount = videoExtractor.getTrackCount();

            for (int i = 0; i < trackCount; i++) {
                MediaFormat trackFormat = videoExtractor.getTrackFormat(i);
                String mimeType = trackFormat.getString(MediaFormat.KEY_MIME);
                if (TextUtils.isEmpty(mimeType)) {
                    continue;
                }
                if (mimeType.startsWith("video/")) {
                    videoExtractor.selectTrack(i);

                    videoTrackIndex = mediaMuxer.addTrack(trackFormat);
                    break;
                }
            }

            //再添加音频轨道
            audioExtractor.setDataSource(audioFile.getAbsolutePath());
            int trackCountAduio = audioExtractor.getTrackCount();
            for (int i = 0; i < trackCountAduio; i++) {
                MediaFormat trackFormat = audioExtractor.getTrackFormat(i);
                String mimeType = trackFormat.getString(MediaFormat.KEY_MIME);
                if (TextUtils.isEmpty(mimeType)) {
                    continue;
                }
                if (mimeType.startsWith("audio/")) {
                    audioExtractor.selectTrack(i);
                    audioTrackIndex = mediaMuxer.addTrack(trackFormat);
                    Log.i(TAG1, "muxerToMp4: audioTrackIndex=" + audioTrackIndex);
                    break;
                }
            }


            //再进行合成
            mediaMuxer.start();
            ByteBuffer byteBuffer = ByteBuffer.allocate(500 * 1024);
            MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
            int sampleSize = 0;

            while ((sampleSize = videoExtractor.readSampleData(byteBuffer, 0)) > 0) {

                bufferInfo.flags = videoExtractor.getSampleFlags();
                bufferInfo.offset = 0;
                bufferInfo.size = sampleSize;
                bufferInfo.presentationTimeUs = videoExtractor.getSampleTime();
                mediaMuxer.writeSampleData(videoTrackIndex, byteBuffer, bufferInfo);
                videoExtractor.advance();
            }

            int audioSampleSize = 0;

            MediaCodec.BufferInfo audioBufferInfo = new MediaCodec.BufferInfo();


            while ((audioSampleSize = audioExtractor.readSampleData(byteBuffer, 0)) > 0) {

                audioBufferInfo.flags = audioExtractor.getSampleFlags();
                audioBufferInfo.offset = 0;
                audioBufferInfo.size = audioSampleSize;
                audioBufferInfo.presentationTimeUs = audioExtractor.getSampleTime();
                mediaMuxer.writeSampleData(audioTrackIndex, byteBuffer, audioBufferInfo);
                audioExtractor.advance();
            }

            //最后释放资源
            videoExtractor.release();
            audioExtractor.release();
            mediaMuxer.stop();
            mediaMuxer.release();

        } catch (IOException e) {
            e.printStackTrace();
            return "";

        }
        return outputFile.getAbsolutePath();
    }

????????因为这个与上面例子的流程大致相同，上面看懂了，下面基本上没什么问题，所以注释相对比较少。至于过程也就懒得分析了。

????????我们在解封装的过程中同时使用到了MediaExtractor和MediaMuxer，包括合成的时候也用了这两个。不要想当然的认为MediaExtractor解封装出来两文件，两文件根据MediaMuxer就可以合成！！！

????????最后遗留两个问题：

????????1.解封装出来的是不同轨道的资源，可是当做文件输出时，除了文件名不同其他的操作都是一模一样，就连mediaMuxer的参数格式都是MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4，那音频文件是怎样合成成功的？？？

????????AAC代表Advanced Audio Coding（高级音频编码），是一种由MPEG-4标准定义的有损音频压缩格式。而且解封装出来的音频acc和视频MP4改了后缀都可以正常播放。

????????

? ? ? ? 音频文件同样可以理解为一帧帧的说法，之后我回使用实时AAC音频帧并通过AudioTrack来播放，尽情期待。

? ? ? ? 2.分解出来的轨道是固定的吗？还是根据自定义来的？他的个数只能是一个音频一个视频吗？

分解出来的轨道不是固定的但一般是两个轨道（一个音频一个视频）
E/测试Demo: 轨道数量 = 2
E/测试Demo: 0编号通道格式 = video/avc
E/测试Demo: 1编号通道格式 = audio/mp4a-latm
这个具体的顺序就是根据你使用mediaMuxer添加合成的顺序
当然也可能有多个音频和视频在一个盒子里