ffmpeg-ffplay代码架构简述

全局变量

/* Minimum SDL audio buffer size, in samples. */

// 最小音频缓冲

#define SDL_AUDIO_MIN_BUFFER_SIZE 512

/* Calculate actual buffer size keeping in mind not cause too frequent audio callbacks */

// 计算实际音频缓冲大小，并不需要太频繁回调，这里设置的是最大音频回调次数是每秒30次

#define SDL_AUDIO_MAX_CALLBACKS_PER_SEC 30/* Step size for volume control in dB */

// 音频控制以db为单位的步进

#define SDL_VOLUME_STEP (0.75)/* no AV sync correction is done if below the minimum AV sync threshold */

// 最低同步阈值，如果低于该值，则不需要同步校正

#define AV_SYNC_THRESHOLD_MIN 0.04

/* AV sync correction is done if above the maximum AV sync threshold */

// 最大同步阈值，如果大于该值，则需要同步校正

#define AV_SYNC_THRESHOLD_MAX 0.1

/* If a frame duration is longer than this, it will not be duplicated to compensate AV sync */

// 帧补偿同步阈值，如果帧持续时间比这更长，则不用来补偿同步

#define AV_SYNC_FRAMEDUP_THRESHOLD 0.1

/* no AV correction is done if too big error */

// 同步阈值。如果误差太大，则不进行校正

#define AV_NOSYNC_THRESHOLD 10.0/* maximum audio speed change to get correct sync */

// 正确同步的最大音频速度变化值(百分比)

#define SAMPLE_CORRECTION_PERCENT_MAX 10/* external clock speed adjustment constants for realtime sources based on buffer fullness */

// 根据实时码流的缓冲区填充时间做外部时钟调整

// 最小值

#define EXTERNAL_CLOCK_SPEED_MIN 0.900

// 最大值

#define EXTERNAL_CLOCK_SPEED_MAX 1.010

// 步进

#define EXTERNAL_CLOCK_SPEED_STEP 0.001/* we use about AUDIO_DIFF_AVG_NB A-V differences to make the average */

// 使用差值来实现平均值

#define AUDIO_DIFF_AVG_NB 20/* polls for possible required screen refresh at least this often, should be less than 1/fps */

// 刷新频率应该小于 1/fps

#define REFRESH_RATE 0.01/* NOTE: the size must be big enough to compensate the hardware audio buffersize size */

/* TODO: We assume that a decoded and resampled frame fits into this buffer */

// 采样大小

#define SAMPLE_ARRAY_SIZE (8 * 65536)#define CURSOR_HIDE_DELAY 1000000#define USE_ONEPASS_SUBTITLE_RENDER 1// 冲采样标志

static unsigned sws_flags = SWS_BICUBIC;// 包列表结构

typedef struct MyAVPacketList {AVPacket pkt;struct MyAVPacketList *next;int serial;

} MyAVPacketList;// 待解码包队列

typedef struct PacketQueue {MyAVPacketList *first_pkt, *last_pkt;int nb_packets;int size;int64_t duration;int abort_request;int serial;SDL_mutex *mutex;SDL_cond *cond;

} PacketQueue;#define VIDEO_PICTURE_QUEUE_SIZE 3

#define SUBPICTURE_QUEUE_SIZE 16

#define SAMPLE_QUEUE_SIZE 9

#define FRAME_QUEUE_SIZE FFMAX(SAMPLE_QUEUE_SIZE, FFMAX(VIDEO_PICTURE_QUEUE_SIZE, SUBPICTURE_QUEUE_SIZE))// 音频参数

typedef struct AudioParams {int freq; // 频率int channels; // 声道数int64_t channel_layout; // 声道设计，单声道，双声道还是立体声enum AVSampleFormat fmt; // 采样格式int frame_size; // 采样大小int bytes_per_sec; // 每秒多少字节

} AudioParams;// 时钟

typedef struct Clock {double pts; // 时钟基准 /* clock base */double pts_drift; // 更新时钟的差值 /* clock base minus time at which we updated the clock */double last_updated; // 上一次更新的时间double speed; // 速度int serial; // 时钟基于使用该序列的包 /* clock is based on a packet with this serial */int paused; // 停止标志int *queue_serial; // 指向当前数据包队列序列的指针，用于过时的时钟检测 /* pointer to the current packet queue serial, used for obsolete clock detection */

} Clock;/* Common struct for handling all types of decoded data and allocated render buffers. */

// 解码帧结构

typedef struct Frame {AVFrame *frame; // 帧数据AVSubtitle sub; // 字幕int serial; // 序列double pts; // 帧的显示时间戳 /* presentation timestamp for the frame */double duration; // 帧显示时长 /* estimated duration of the frame */int64_t pos; // 文件中的位置 /* byte position of the frame in the input file */int width; // 帧的宽度int height; // 帧的高度int format; // 格式AVRational sar; // 额外参数int uploaded; // 上载int flip_v; // 反转

} Frame;// 解码后的帧队列

typedef struct FrameQueue {Frame queue[FRAME_QUEUE_SIZE]; // 队列数组int rindex; // 读索引int windex; // 写索引int size; // 大小int max_size; // 最大大小int keep_last; // 保持上一个int rindex_shown; // 读显示SDL_mutex *mutex; // 互斥变量SDL_cond *cond; // 条件变量PacketQueue *pktq;

} FrameQueue;// 时钟同步类型

enum {AV_SYNC_AUDIO_MASTER, // 音频作为同步，默认以音频同步 /* default choice */AV_SYNC_VIDEO_MASTER, // 视频作为同步AV_SYNC_EXTERNAL_CLOCK, // 外部时钟作为同步 /* synchronize to an external clock */

};// 解码器结构

typedef struct Decoder {AVPacket pkt; // 包AVPacket pkt_temp; // 中间包PacketQueue *queue; // 包队列AVCodecContext *avctx; // 解码上下文int pkt_serial; // 包序列int finished; // 是否已经结束int packet_pending; // 是否有包在等待SDL_cond *empty_queue_cond; // 空队列条件变量int64_t start_pts; // 开始的时间戳AVRational start_pts_tb; // 开始的额外参数int64_t next_pts; // 下一帧时间戳AVRational next_pts_tb; // 下一帧的额外参数SDL_Thread *decoder_tid; // 解码线程

} Decoder;// 视频状态结构

typedef struct VideoState {SDL_Thread *read_tid; // 读取线程AVInputFormat *iformat; // 输入格式int abort_request; 终止int force_refresh; 强制刷新int paused; // 停止int last_paused; // 最后停止int queue_attachments_req; // 队列附件请求int seek_req; // 查找请求int seek_flags; // 查找标志int64_t seek_pos; // 查找位置int64_t seek_rel; // int read_pause_return; // 读停止返回AVFormatContext *ic; // 解码格式上下文int realtime; // 是否实时码流Clock audclk; // 音频时钟Clock vidclk; // 视频时钟Clock extclk; // 外部时钟FrameQueue pictq; // 视频队列FrameQueue subpq; // 字幕队列FrameQueue sampq; // 音频队列Decoder auddec; // 音频解码器Decoder viddec; // 视频解码器Decoder subdec; // 字幕解码器int audio_stream; // 音频码流Idint av_sync_type; // 同步类型double audio_clock; // 音频时钟int audio_clock_serial; // 音频时钟序列double audio_diff_cum; // 用于音频差分计算 /* used for AV difference average computation */double audio_diff_avg_coef; // double audio_diff_threshold; // 音频差分阈值int audio_diff_avg_count; // 平均差分数量AVStream *audio_st; // 音频码流PacketQueue audioq; // 音频包队列int audio_hw_buf_size; // 硬件缓冲大小uint8_t *audio_buf; // 音频缓冲区uint8_t *audio_buf1; // 音频缓冲区1unsigned int audio_buf_size; // 音频缓冲大小 /* in bytes */unsigned int audio_buf1_size; // 音频缓冲大小1int audio_buf_index; // 音频缓冲索引 /* in bytes */int audio_write_buf_size; // 音频写入缓冲大小int audio_volume; // 音量int muted; // 是否静音struct AudioParams audio_src; // 音频参数

#if CONFIG_AVFILTER struct AudioParams audio_filter_src; // 音频过滤器

#endifstruct AudioParams audio_tgt; // 音频参数struct SwrContext *swr_ctx; // 音频转码上下文int frame_drops_early; // int frame_drops_late; // enum ShowMode { // 显示类型SHOW_MODE_NONE = -1, // 无显示SHOW_MODE_VIDEO = 0, // 显示视频SHOW_MODE_WAVES, // 显示波浪，音频SHOW_MODE_RDFT, // 自适应滤波器SHOW_MODE_NB // } show_mode;int16_t sample_array[SAMPLE_ARRAY_SIZE]; // 采样数组int sample_array_index; // 采样索引int last_i_start; // 上一开始RDFTContext *rdft; // 自适应滤波器上下文int rdft_bits; // 自使用比特率FFTSample *rdft_data; // 快速傅里叶采样int xpos; // double last_vis_time; // SDL_Texture *vis_texture; // 音频TextureSDL_Texture *sub_texture; // 字幕TextureSDL_Texture *vid_texture; // 视频Textureint subtitle_stream; // 字幕码流IdAVStream *subtitle_st; // 字幕码流PacketQueue subtitleq; // 字幕包队列double frame_timer; // 帧计时器double frame_last_returned_time; // 上一次返回时间double frame_last_filter_delay; // 上一个过滤器延时int video_stream; // 视频码流IdAVStream *video_st; // 视频码流PacketQueue videoq; // 视频包队列double max_frame_duration; // 最大帧显示时间 // maximum duration of a frame - above this, we consider the jump a timestamp discontinuitystruct SwsContext *img_convert_ctx; // 视频转码上下文struct SwsContext *sub_convert_ctx; // 字幕转码上下文int eof; // 结束标志char *filename; // 文件名int width, height, xleft, ytop; // 宽高，其实坐标int step; // 步进#if CONFIG_AVFILTERint vfilter_idx; // 过滤器索引AVFilterContext *in_video_filter; // 第一个视频滤镜 // the first filter in the video chainAVFilterContext *out_video_filter; // 最后一个视频滤镜 // the last filter in the video chainAVFilterContext *in_audio_filter; // 第一个音频过滤器 // the first filter in the audio chainAVFilterContext *out_audio_filter; // 最后一个音频过滤器 // the last filter in the audio chainAVFilterGraph *agraph; // 音频过滤器 // audio filter graph

#endif// 上一个视频码流Id、上一个音频码流Id、上一个字幕码流Idint last_video_stream, last_audio_stream, last_subtitle_stream;SDL_cond *continue_read_thread; // 连续读线程

} VideoState;/* options specified by the user */

static AVInputFormat *file_iformat; // 文件输入格式

static const char *input_filename; // 输入文件名

static const char *window_title; // 标题

static int default_width = 640; // 默认宽度

static int default_height = 480; // 默认高度

static int screen_width = 0; // 屏幕宽度

static int screen_height = 0; // 屏幕高度

static int audio_disable; // 是否禁止播放声音

static int video_disable; // 是否禁止播放视频

static int subtitle_disable; // 是否禁止播放字幕

static const char* wanted_stream_spec[AVMEDIA_TYPE_NB] = {0};

static int seek_by_bytes = -1; //

static int display_disable; // 显示禁止

static int borderless; //

static int startup_volume = 100; // 起始音量

static int show_status = 1; // 显示状态

static int av_sync_type = AV_SYNC_AUDIO_MASTER; // 同步类型

static int64_t start_time = AV_NOPTS_VALUE; // 开始时间

static int64_t duration = AV_NOPTS_VALUE; // 间隔

static int fast = 0; // 快速

static int genpts = 0; //

static int lowres = 0; // 慢速

static int decoder_reorder_pts = -1; // 解码器重新排列时间戳

static int autoexit; // 否自动退出

static int exit_on_keydown; // 是否按下退出

static int exit_on_mousedown; // 是否鼠标按下退出

static int loop = 1; // 循环

static int framedrop = -1; // 舍弃帧

static int infinite_buffer = -1; // 缓冲区大小限制 =1表示不限制（is->realtime实时传输时不限制

static enum ShowMode show_mode = SHOW_MODE_NONE; // 显示类型

static const char *audio_codec_name; // 音频解码器名称

static const char *subtitle_codec_name; // 字幕解码器名称

static const char *video_codec_name; // 视频解码器名称

double rdftspeed = 0.02; // 自适应滤波器的速度

static int64_t cursor_last_shown; // 上一次显示光标

static int cursor_hidden = 0; // 光标隐藏

#if CONFIG_AVFILTER

static const char **vfilters_list = NULL; // 视频滤镜

static int nb_vfilters = 0; // 视频滤镜数量

static char *afilters = NULL; // 音频滤镜

#endif

static int autorotate = 1; // 是否自动旋转/* current context */

static int is_full_screen; // 是否全屏

static int64_t audio_callback_time; // 音频回调时间static AVPacket flush_pkt; // 刷新的包#define FF_QUIT_EVENT (SDL_USEREVENT + 2)static SDL_Window *window; // 窗口

static SDL_Renderer *renderer; // 渲染器

设计的流程

包含文件读取、解封装、解码、音视频输出、音视频同步，流程如下图所示：

在这里插入图片描述

ffplay中使用的线程

（1）读线程。读取文件、解封装

（2）音频解码线程。解码音频压缩数据为PCM数据。
（3）视频解码线程。解码视频压缩数据为图像数据。

（4）音频输出线程。基于SDL播放，该线程实际上是SDL的内部线程。
（5）视频输出线程。基于SDL播放，该线程为程序主线程。

在这里插入图片描述