《深入理解FFmpeg》
目录
上篇 基础与参数详解
第 1章 多媒体基础 2
1.1 从现实世界到数字世界 2
1.1.1 颜色和图像 2
1.1.2 电影、电视和视频 4
1.1.3 音频 6
1.1.4 音视频封装、传输和 未来 10
1.2 视频图像像素点的数据格式 10
1.2.1 图像的位深 10
1.2.2 FourCC 11
1.2.3 灰度模式表示 11
1.2.4 YUV色彩表示 11
1.2.5 RGB色彩表示 15
1.2.6 HSL与HSV色彩表示 18
1.3 视频逐行和隔行扫描、NTSC与 PAL制式 19
1.3.1 逐行与隔行扫描 19
1.3.2 NTSC制式 20
1.3.3 PAL制式 21
1.4 帧率、PTS和DTS 22
1.5 图像分辨率与宽高比 22
1.6 图像的色彩空间 23
1.7 音频采样数据格式 24
1.7.1 声道 25
1.7.2 采样率 26
1.7.3 采样位深 27
1.7.4 带宽计算 28
1.8 小结 28
第 2章 FFmpeg简介 29
2.1 FFmpeg的发展历史 29
2.2 FFmpeg的基本组成 31
2.2.1 封装/解封装模块 AVFormat 32
2.2.2 编/解码模块AVCodec 32
2.2.3 滤镜模块AVFilter 32
2.2.4 设备模块AVDevice 33
2.2.5 图像转换模块swscale 34
2.2.6 音频转换模块 swresample 34
2.2.7 编解码工具ffmpeg 34
2.2.8 播放器ffplay 35
2.2.9 多媒体分析器ffprobe 35
2.3 不同平台下的编译 35
2.3.1 Windows平台编译 FFmpeg 36
2.3.2 Linux平台编译 FFmpeg 37
2.3.3 macOS平台编译 FFmpeg 38
2.4 FFmpeg特性的选择与定制 38
2.4.1 编码器支持 40
2.4.2 解码器支持 41
2.4.3 封装支持 41
2.4.4 解封装支持 42
2.4.5 通信协议支持 42
2.5 小结 43
第3章 FFmpeg工具使用基础 44
3.1 ffmpeg常用命令 44
3.1.1 封装转换 46
3.1.2 解码和编码 47
3.1.3 转码流程 48
3.2 ffprobe常用命令 49
3.2.1 ffprobe常用参数 49
3.2.2 ffprobe使用示例 51
3.3 ffplay常用命令 58
3.3.1 ffplay常用参数 59
3.3.2 ffplay*参数 60
3.3.3 ffplay的数据可视化分析 应用 63
3.3.4 ffplay快捷键 65
3.4 小结 65
第4章 封装与解封装 66
4.1 视频文件转MP4 67
4.1.1 MP4格式标准介绍 68
4.1.2 Fragment MP4与CMAF 89
4.1.3 MP4分析工具 91
4.1.4 MP4在FFmpeg中的 Demuxer 94
4.1.5 MP4在FFmpeg中的 Muxer 95
4.2 视频文件转FLV 99
4.2.1 FLV文件标准介绍 99
4.2.2 FLV Muxer参数说明 104
4.2.3 文件转FLV举例 104
4.2.4 生成带关键索引的 FLV 105
4.2.5 FLV文件格式分析 工具 106
4.3 视频文件转MPEG-TS 107
4.3.1 MPEG-TS格式简介 109
4.3.2 MPEG-TS Muxer参数 说明 113
4.3.3 MPEG-TS格式分析 工具 114
4.4 视频文件转HLS 115
4.4.1 HLS标准的M3U8 介绍 116
4.4.2 HLS Muxer参数 119
4.4.3 HLS Muxer举例说明 119
4.5 视频文件切片 128
4.5.1 segment切片参数 128
4.5.2 segment切片举例 129
4.5.3 使用ss与t参数切片 132
4.6 视频文件的音视频流抽取 133
4.6.1 提取AAC音频流 133
4.6.2 提取H.264视频流 134
4.6.3 提取H.265视频流 134
4.7 系统资源使用情况 135
4.8 小结 136
第5章 编码与转码 137
5.1 软编码H.264 138
5.1.1 x264编码参数简介 139
5.1.2 H.264编码举例 141
5.2 硬件加速 154
5.2.1 基于OS的硬件加速方案 简介 155
5.2.2 NVIDIA GPU硬编 解码 163
5.2.3 Intel QSV硬编解码 165
5.2.4 Raspberry Pi硬编解码 170
5.2.5 macOS系统硬编解码 171
5.2.6 其他加速方案简介 173
5.3 输出MP3 173
5.3.1 MP3编码参数介绍 174
5.3.2 MP3的编码质量设置 174
5.3.3 平均码率编码ABR 参数 176
5.4 输出AAC 176
5.4.1 AAC编码器操作 178
5.4.2 FDK-AAC 179
5.4.3 高质量AAC设置 182
5.4.4 AAC音频质量对比 182
5.5 系统资源使用情况 182
5.6 小结 183
第6章 流媒体技术 184
6.1 录制与发布RTMP流 185
6.1.1 RTMP参数说明 186
6.1.2 RTMP参数举例 187
6.2 录制与发布RTSP流 189
6.2.1 RTSP demuxer参数 介绍 190
6.2.2 RTSP demuxer参数使用 举例 191
6.2.3 RTSP demuxer/muxer的 一些小说明 193
6.3 录制HTTP流 194
6.3.1 HTTP参数说明 194
6.3.2 HTTP参数举例 195
6.4 录制与发布UDP/TCP流 197
6.4.1 TCP与UDP参数 197
6.4.2 TCP/UDP参数使用 举例 198
6.4.3 TCP/UDP使用小结 201
6.5 多路流输出 202
6.5.1 管道方式输出多路流 202
6.5.2 tee封装格式输出 202
6.5.3 tee协议输出多路流 203
6.6 DASH流输出 204
6.6.1 参数介绍 205
6.6.2 参数举例 205
6.7 HDS流输出 206
6.7.1 参数说明 206
6.7.2 HDS使用举例 207
6.8 小结 208
第7章 bitstream过滤器 209
7.1 aac_adtstoasc过滤器 210
7.1.1 ADTS格式 210
7.1.2 ASC格式 211
7.2 mp4toannexb过滤器 212
7.2.1 Annex B格式 213
7.2.2 AVCC格式 213
7.2.3 hevc_mp4toannexb/h264_ mp4toannexb的使用 214
7.3 h264_metadata过滤器 215
7.3.1 h264_metadata参数说明 216
7.3.2 h264_metadata参数举例 216
7.3.3 其他Codec的metadata 过滤器 221
7.4 其他常用bitstream过滤器 221
7.4.1 dump_extra 221
7.4.2 trace_headers 222
7.4.3 filter_units 223
7.5 小结 225
第8章 滤镜使用 226
8.1 滤镜表达式使用 226
8.2 滤镜描述格式 229
8.2.1 滤镜基本排列方式 229
8.2.2 时间内置变量 229
8.3 视频水印操作 229
8.3.1 文字水印示例 229
8.3.2 图片水印示例 232
8.4 画中画操作 233
8.5 视频多宫格处理 235
8.6 视频字幕操作 237
8.6.1 ASS字幕流写入视频流 237
8.6.2 ASS字幕写入封装容器 238
8.7 视频3D化处理 239
8.7.1 stereo3d处理3D视频 239
8.7.2 3D图像转换示例 241
8.8 视频截图操作 242
8.8.1 vframes参数截取一张图片 242
8.8.2 fps滤镜定时获得图片 242
8.9 音频流滤镜操作 243
8.9.1 双声道合并单声道 243
8.9.2 双声道提取 243
8.9.3 双声道转双音频流 244
8.9.4 单声道转双声道 244
8.9.5 两个音频源合并双声道 245
8.9.6 多个音频合并为多声道 245
8.10 音频音量探测 246
8.10.1 音频音量获得 246
8.10.2 绘制音频波形 247
8.11 生成测试元数据 248
8.11.1 生成音频测试流 248
8.11.2 生成视频测试流 248
8.12 音视频倍速处理 250
8.12.1 atempo音频倍速处理 250
8.12.2 setpts视频倍速处理 251
8.13 云剪辑常用技术 252
8.13.1 定格帧 252
8.13.2 透明视频兼容处理 252
8.13.3 隔行交错视频兼容处理 253
8.13.4 HDR视频兼容处理 254
8.13.5 雪碧图和WebVTT 255
8.13.6 缩略图 256
8.13.7 复杂项目渲染 256
8.13.8 色度抠图 257
8.13.9 蒙版抠图 258
8.13.10 调色 259
8.13.11 透明度调整 259
8.13.12 动态缩放 260
8.13.13 画质检测 260
8.13.14 滤镜动态调整 262
8.13.15 深度学习 262
8.14 小结 264
第9章 采集设备操作 265
9.1 Linux设备操作 265
9.1.1 查看设备列表 265
9.1.2 采集设备fbdev参数说明 和使用 266
9.1.3 采集设备v4l2参数说明 和使用 266
9.1.4 采集设备x11grab参数 说明和使用 268
9.2 macOS设备操作 269
9.2.1 查看设备列表 270
9.2.2 设备采集举例 270
9.3 Windows设备采集 273
9.3.1 使用dshow采集音视频 设备 273
9.3.2 使用vfwcap采集视频 设备 274
9.3.3 使用gdigrab采集窗口 274
9.4 小结 276
下篇 API使用及开发
第 10章 libavformat接口的使用 279
10.1 媒体流封装 281
10.2 媒体流解封装 284
10.3 文件转封装 288
10.4 视频截取 290
10.5 AVIO以及示例 292
10.6 AVPacket常用操作 296
10.7 小结 300
第 11章 libavcodec接口的使用 301
11.1 旧接口的使用 302
11.1.1 视频解码旧接口 303
11.1.2 视频编码旧接口 306
11.1.3 音频解码旧接口 308
11.1.4 音频编码旧接口 310
11.2 新接口的使用 311
11.2.1 视频解码新接口 312
11.2.2 视频编码新接口 315
11.2.3 音频解码新接口 318
11.2.4 音频编码新接口 320
11.3 硬件加速的编解码 322
11.3.1 硬件加速解码 323
11.3.2 硬件加速编码 327
11.4 AVFrame操作 329
11.5 内存操作 335
11.6 小结 337
第 12章 libavfilter接口的使用 338
12.1 Filter和FilterGraph简述 338
12.2 FFmpeg中内置的滤镜 340
12.2.1 音频滤镜 340
12.2.2 视频滤镜 345
12.3 libavfilter的API使用 354
12.4 使用滤镜给视频加Logo 356
12.5 小结 360
第 13章 FFmpeg辅助库的使用 361
13.1 libavutil的dict与opt操作 361
13.2 libswscale的sws_scale图像 转换 368
13.2.1 图像转换流程 368
13.2.2 代码实例 370
13.3 libswresample执行声音转换 374
13.3.1 声音转换流程 374
13.3.2 代码实例 376
13.4 小结 379
第 14章 音视频播放器开发实例 380
14.1 播放器开发概述 380
14.2 SDL核心功能API介绍 381
14.2.1 初始化SDL库 381
14.2.2 图像渲染 381
14.3 SDL音频播放 387
14.3.1 SDL事件循环 389
14.3.2 SDL定时器 391
14.4 播放器解码和展示 392
14.4.1 FFmpegPlayerCtx 393
14.4.2 播放器设计 395
14.4.3 事件循环线程 399
14.4.4 demux线程 400
14.4.5 视频解码线程 408
14.4.6 音视频同步 412
14.4.7 音视频扩展 417
14.5 小结 417
第 15章 FFmpeg在RTC中的实例解析 418
15.1 RTC的特点 418
15.1.1 什么是RTC 418
15.1.2 RTC媒体传输 419
15.2 FFmpeg在Chromium中的应用 421
15.2.1 FFmpeg在Chromium WebRTC中的应用 422
15.2.2 FFmpeg在Chromium中的其他应用 428
15.3 FFmpeg在FreeSWITCH中的应用 433
15.3.1 FreeSWITCH简介 433
15.3.2 FreeSWITCH的FFmpeg 模块开发环境准备 434
15.3.3 FFmpeg初始化和加载 436
15.3.4 avcodec实例 436
15.3.5 avformat实例 447
15.3.6 其他 468
15.4 FFmpeg在BareSIP中的应用 469
15.4.1 AVCodec 469
15.4.2 AVFormat 480
15.4.3 AVFilter 489
15.5 小结 494
第 16章 定制FFmpeg模块 495
16.1 添加AVFormat模块 496
16.1.1 book文件格式 496
16.1.2 添加文件 497
16.1.3 添加文件封装格式 497
16.1.4 添加文件解封装格式 502
16.2 添加AVCodec模块 505
16.2.1 book编解码算法定义 505
16.2.2 实现book编码 505
16.2.3 实现book解码 507
16.2.4 将编解码器注册到FFmpeg 并加入编译工程 508
16.2.5 运行测试 509
16.3 添加AVFilter模块 509
16.3.1 添加基础滤镜 509
16.3.2 支持多线程图像处理 512
16.3.3 支持图像动态化的表达式 513
16.3.4 支持process_command 515
16.4 添加Protocol模块 516
16.4.1 添加新协议的消息结构 516
16.4.2 回调函数 517
16.4.3 编译 518
16.4.4 测试 519
16.5 小结 519
第 17章 FFmpeg调试与测试 520
17.1 自身的调试选项 520
17.1.1 debug选项 520
17.1.2 DTS/PTS问题的排查 521
17.2 loglevel与report 522
17.2.1 使用loglevel 522
17.2.2 使用report 523
17.3 在调用库时的调试 523
17.3.1 基于日志 524
17.3.2 基于带调试信息库 524
17.4 给社区汇报Bug及提交补丁 525
17.4.1 代码风格 525
17.4.2 给FFmpeg贡献代码 528
17.5 小结 530
