一、常用音视频术语和概念

容器/文件(Conainer/File)：指特定格式的多媒体文件，比如mp4、flv、mov等视频格式；
媒体流(Stream)：一个容器（如mp4文件）中可存在多个流，可以是视频流、音频流、字幕流。
数据帧/数据包（Frame/Packet）：一个流媒体是由大量的数据帧构成的。
编码器/解码器：编解码器是以帧为单位进行压缩数据和复原数据的，对原始数据和压缩的数据进行转换。

例如：通过如下命令可以查看一个视频文件的信息：

zhenghui@zh-pc:~/视频$ ffprobe 1080P.mp4 
ffprobe version N-104612-g3188b606d7 Copyright (c) 2007-2021 the FFmpeg developers
  built with gcc 9 (Ubuntu 9.3.0-17ubuntu1~20.04)
  configuration: --prefix=/usr/local/ffmpeg --enable-gpl --enable-nonfree --enable-libfdk-aac --enable-libx264 --enable-libx265 --enable-filter=delogo --enable-debug --disable-optimizations --enable-libspeex --enable-shared --enable-pthreads --enable-version3 --enable-hardcoded-tables --cc=gcc --host-cflags= --host-ldflags= --disable-x86asm
  libavutil      57.  9.100 / 57.  9.100
  libavcodec     59. 13.100 / 59. 13.100
  libavformat    59.  9.101 / 59.  9.101
  libavdevice    59.  0.101 / 59.  0.101
  libavfilter     8. 17.100 /  8. 17.100
  libswscale      6.  1.100 /  6.  1.100
  libswresample   4.  0.100 /  4.  0.100
  libpostproc    56.  0.100 / 56.  0.100
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from '1080P.mp4':
  Metadata:
    major_brand     : isom
    minor_version   : 512
    compatible_brands: isomiso2avc1mp41
    encoder         : Lavf58.29.100
    description     : Packed by Bilibili XCoder v2.0.2
  Duration: 00:03:46.53, start: 0.000000, bitrate: 3087 kb/s
  Stream #0:0[0x1](und): Video: h264 (High) (avc1 / 0x31637661), yuv420p(progressive), 1920x1080 [SAR 1:1 DAR 16:9], 2951 kb/s, 30 fps, 30 tbr, 16k tbn (default)
    Metadata:
      handler_name    : VideoHandler
      vendor_id       : [0][0][0][0]
  Stream #0:1[0x2](und): Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, stereo, fltp, 128 kb/s (default)
    Metadata:
      handler_name    : SoundHandler
      vendor_id       : [0][0][0][0]
zhenghui@zh-pc:~/视频$

可以看到这个视频中有两路流：

Stream #0:00x1: Video: h264 (High) (avc1 / 0x31637661), yuv420p(progressive), 1920x1080 [SAR 1:1 DAR 16:9], 2951 kb/s, 30 fps, 30 tbr, 16k tbn (default)
Stream #0:10x2: Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, stereo, fltp, 128 kb/s (default)

一路是视频流Video: h264，一路是音频流Audio: aac。
?

二、常用概念

音视频领域-复用器和解复用器

复用器：把多路原始流按一定的规则组成成一个新的音视频文件（例如：把一个纯视频流、一个纯音频流和一个纯字幕流组合成一个mp4文件）；
解复用器：把一个新的音视频文件按一定的规则拆分成多路原始流（例如：把一个mp4文件，拆分成纯视频流、纯音频流和纯字幕流）。

三、FFmpeg库简介

ffmpeg常用的库：
?

libavutil

核心工具库，例如log模块。在ffmpeg中很多功能模块都会依赖avutil库作一些基本的音视频操作。

libavformat（*重要）

文件格式和协议库，该模块是最重要的模块之一，封装了Protocol层和Demuxer、Muxer层。

libavcodec（*重要）

编解码库，封装了一些基本的Codec层。但是一些Codec是具备自己的License的，所以ffmpeg是没有默认把这类的库添加进来的，例如：libx264,FDK-AAC等库。ffmpeg就像一个平台一样，可以将第三方的Codec以插件的方式添加进来，然后为开发者提供统一的接口，进行使用。

libswresample （*重要）

该模块用于音频重采样，可以对数字音频进行声道数、数据格式、采样率等多种基本信息进行转换。例如：把一段音频的声道由双声道转换成单声道的数据，就可以通过该库进行操作。

libswscale（*重要）

该模块提供了将图像进行格式信息转换的模块。例如：可以将YUV数据转换成RGB数据，可以将1280720的尺寸的数据缩放尺寸至800480的数据。

libavfilter

音视频滤镜库，该库提供了音频和视频特效的处理功能。

libavdevice

输入输出设备库。编译时需要先编译SDL，因为此库是以来SDL的，该设备模块库播放声音与播放视频使用的都是SDL库。

libpostproc

该年模块用于后期处理，与libavfilter库配合使用。

四、ffmpeg常用函数简介

（一）关于初始化和注册相关的函数

~~av_register_all()~~：注册所有的组建，4.0及以上版本已经弃用了；
avdevice_register_all()：对设备进行注册，如果我们要捕捉屏幕进行录制屏幕，捕捉摄像头进行录制视频，捕捉麦克风录制麦克风声音时，就需要使用到该函数，首先进行注册。例如（windows下的dshow，Linux下的V4L2等）；
avformat_network_init()：初始化网络库以及网络加密协议相关的库，我们在推流或者拉流时就会使用到。

（二）封装格式相关函数

avformat_alloc_context()：负责申请一个AVFormatContext上下文结构体的内存，并进行简单的初始化，以提供给其他函数使用；
avformat_free_context()：释放不使用的AVFormatContext；
avformat_close_input()：关闭解复用器。如果使用该函数进行关闭的话，就可以不使用avformat_free_context()进行释放；
avformat_open_input()：打开输入视频文件；
avformat_find_stream_info()：获取视频文件信息；
av_read_frame()：读取音视频包；
avformat_seek_file()：根据时间戳定位文件的位置；例如我们托方播放器的进度条进行快近和快退时，就可以使用此函数进行定位播放；
av_seek_frame()：根据流的大小定位文件的位置；

封装格式步骤：
1、分配解复用器上下文（avformat_alloc_context()）；
2、根据url打开本地文件或网络流（avformat_open_input()）；
3、读取媒体的数据包，查找流信息（avformat_find_stream_info()）；
4、遍历数据
（4-1）、从文件中读取数据包（av_read_frame()）；
（4-2）、或者定位文件位置进行遍历（avformat_seek_file()、av_seek_frame()）；
5、关闭解复用器（avformat_close_input()）或释放不使用的资源；
?