【教程】使用ffmpeg5.0混流杜比视界

[nilaoda]

更新

一键工具：https://github.com/nilaoda/DoViMuxer

---

前言

近日，FFmpeg 5.0 发布，增加了很多新功能，其中一个亮点就是支持了DoVi（即Dolby Vision）的封装和tonemapping！这篇帖子先尝试一下混流。

January 17th, 2022, FFmpeg 5.0 "Lorentz"
FFmpeg 5.0 "Lorentz", a new major release, is now available! For this long-overdue release, a major effort underwent to remove the old encode/decode APIs and replace them with an N:M-based API, the entire libavresample library was removed, libswscale has a new, easier to use AVframe-based API, the Vulkan code was much improved, many new filters were added, including libplacebo integration, and finally, DoVi support was added, including tonemapping and remuxing. The default AAC encoder settings were also changed to improve quality.

测试

下载Dolby官方的 测试片源 用于测试，使用5.0以上版本的ffmpeg或ffprobe可直接读取到杜比视界信息：

ffmpeg -i iOS_P5_GlassBlowing2_1920x1080@59.94fps_15200kbps.mp4

ffmpeg version n5.0-1-ga66b58d61c-20220120 Copyright (c) 2000-2022 the FFmpeg developers
  built with gcc 11.2.0 (crosstool-NG 1.24.0.498_5075e1f)
  configuration: --prefix=/ffbuild/prefix --pkg-config-flags=--static --pkg-config=pkg-config --cross-prefix=x86_64-w64-mingw32- --arch=x86_64 --target-os=mingw32 --enable-version3 --disable-debug --disable-w32threads --enable-pthreads --enable-iconv --enable-libxml2 --enable-zlib --enable-libfreetype --enable-libfribidi --enable-gmp --enable-lzma --enable-fontconfig --enable-libvorbis --enable-opencl --disable-libpulse --enable-libvmaf --disable-libxcb --disable-xlib --enable-amf --enable-libaom --disable-avisynth --enable-libdav1d --disable-libdavs2 --disable-libfdk-aac --enable-ffnvcodec --enable-cuda-llvm --disable-frei0r --enable-libgme --enable-libass --enable-libbluray --enable-libmp3lame --enable-libopus --enable-librist --enable-libtheora --enable-libvpx --enable-libwebp --enable-lv2 --enable-libmfx --enable-libopencore-amrnb --enable-libopencore-amrwb --enable-libopenh264 --enable-libopenjpeg --enable-libopenmpt --enable-librav1e --disable-librubberband --enable-schannel --enable-sdl2 --enable-libsoxr --enable-libsrt --enable-libsvtav1 --enable-libtwolame --enable-libuavs3d --disable-libdrm --disable-vaapi --disable-libvidstab --enable-vulkan --enable-libshaderc --enable-libplacebo --disable-libx264 --disable-libx265 --disable-libxavs2 --disable-libxvid --enable-libzimg --enable-libzvbi --extra-cflags=-DLIBTWOLAME_STATIC --extra-cxxflags= --extra-ldflags=-pthread --extra-ldexeflags= --extra-libs=-lgomp --extra-version=20220120
  libavutil      57. 17.100 / 57. 17.100
  libavcodec     59. 18.100 / 59. 18.100
  libavformat    59. 16.100 / 59. 16.100
  libavdevice    59.  4.100 / 59.  4.100
  libavfilter     8. 24.100 /  8. 24.100
  libswscale      6.  4.100 /  6.  4.100
  libswresample   4.  3.100 /  4.  3.100
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from 'iOS_P5_GlassBlowing2_1920x1080@59.94fps_15200kbps.mp4':
  Metadata:
    major_brand     : mp42
    minor_version   : 1
    compatible_brands: mp42isomiso5
    creation_time   : 2020-10-06T22:33:34.000000Z
  Duration: 00:02:58.11, start: 0.000000, bitrate: 15517 kb/s
  Stream #0:0[0x1](und): Video: hevc (Main 10) (dvh1 / 0x31687664), yuv420p10le(pc), 1920x1080 [SAR 1:1 DAR 16:9], 15135 kb/s, 59.94 fps, 59.94 tbr, 60k tbn (default)
    Metadata:
      handler_name    : Bento4 Video Handler
      vendor_id       : [0][0][0][0]
      encoder         : DOVI Coding
    Side data:
      DOVI configuration record: version: 1.0, profile: 5, level: 5, rpu flag: 1, el flag: 0, bl flag: 1, compatibility id: 0
  Stream #0:1[0x2](und): Audio: eac3 (ec-3 / 0x332D6365), 48000 Hz, 5.1(side), fltp, 640 kb/s (default)
    Metadata:
      handler_name    : Bento4 Sound Handler
      vendor_id       : [0][0][0][0]
    Side data:
      audio service type: main
At least one output file must be specified

注意Side data：

DOVI configuration record: version: 1.0, profile: 5, level: 5, rpu flag: 1, el flag: 0, bl flag: 1, compatibility id: 0

混流

ffmpeg  -i iOS_P5_GlassBlowing2_1920x1080@59.94fps_15200kbps.mp4 -strict unofficial -brand mp42 -c copy -y mux.mp4

注意：必须指定-strict unofficial才可以写入Side data

封装后查看mediainfo:

视频
ID                             : 1
格式                             : HEVC
格式/信息                          : High Efficiency Video Coding
格式配置 (Profile)                 : Main 10@L5.1@Main
HDR 格式                         : Dolby Vision, Version 1.0, dvhe.05.05, BL+RPU
编解码器 ID                        : hev1
编解码器 ID/信息                     : High Efficiency Video Coding
时长                             : 2 分 55 秒
源, 时长                          : 2 分 55 秒
码率                             : 14.3 Mb/s
最大码率                           : 15.1 Mb/s
宽度                             : 1 920 像素
高度                             : 1 080 像素
画面比例                           : 16:9
帧率模式                           : 恒定帧率 (CFR)
帧率                             : 59.940 (60000/1001) FPS
色彩空间                           : YUV
色度抽样                           : 4:2:0
位深                             : 10 位
数据密度 [码率/(像素*帧率)]              : 0.115
流大小                            : 298 MiB (90%)
源, 流大小                         : 316 MiB (96%)
色彩范围                           : Full
编码配置区块 (box)                   : hvcC+dvcC
...

尝试写入更多信息：

ffmpeg  -i iOS_P5_GlassBlowing2_1920x1080@59.94fps_15200kbps.mp4 -i poster.jpg -map 0 -map 1 -disposition:v:1 attached_pic -metadata title="DOVI" -metadata comment="Dolby Vision Test" -movflags +faststart -metadata:s:a:0 language=chi -metadata:s:a:0 handler_name="" -strict unofficial -brand mp42 -c copy -y mux.mp4

封装后查看mediainfo:

格式                             : MPEG-4
格式配置 (Profile)                 : Base Media
编解码器 ID                        : isom (isom/dby1/iso2/mp41)
文件大小                           : 330 MiB
时长                             : 2 分 58 秒
总体码率                           : 15.6 Mb/s
电影名称                           : DOVI
编码程序                           : Lavf59.16.100
封面                             : Yes
注释                             : Dolby Vision Test

视频
ID                             : 1
格式                             : HEVC
格式/信息                          : High Efficiency Video Coding
格式配置 (Profile)                 : Main 10@L5.1@Main
HDR 格式                         : Dolby Vision, Version 1.0, dvhe.05.05, BL+RPU
编解码器 ID                        : hev1
编解码器 ID/信息                     : High Efficiency Video Coding
时长                             : 2 分 55 秒
源, 时长                          : 2 分 55 秒
码率                             : 14.3 Mb/s
最大码率                           : 15.1 Mb/s
宽度                             : 1 920 像素
高度                             : 1 080 像素
画面比例                           : 16:9
帧率模式                           : 恒定帧率 (CFR)
帧率                             : 59.940 (60000/1001) FPS
色彩空间                           : YUV
色度抽样                           : 4:2:0
位深                             : 10 位
数据密度 [码率/(像素*帧率)]              : 0.115
流大小                            : 298 MiB (90%)
源, 流大小                         : 316 MiB (96%)
色彩范围                           : Full
编码配置区块 (box)                   : hvcC+dvcC
...

相较以前的混流过程(#27 #43)，使用ffmpeg5.0后只需要加入-strict unofficial选项即可无痛混流杜比视界~

此外，建议增加-brand mp42选项

[nilaoda]

苹果设备只认可dvh1或hvc1, 可以通过该项目修改标签：https://github.com/rixtox/mp4dovi

[hym3242]

ffmpeg -i input.mp4 -tag:v hvc1 -c copy out.mp4 也可以达到同样效果

[nilaoda]

我记得ffmpeg处理杜比视界是不行的 始终都是dvhe

[hym3242]

这个命令会修改codec id的 fourcc，ffmpeg只会检查fourcc和codec是否compatible,和视频是否杜比视界无关。这个命令可以让上面命令mux的hev1视频正常被QuickTime/预览播放，但是对于杜比视界会依然不识别HDR(大概是因为dvh1比hvc1/hev1多了个dvcC(即所谓side data - DOVI configuration record))，需要用其他方法修改为dvh1.(即使最新的ffmpeg 也坚持认为dvh1不compatible...)

[hym3242]

(Informative) dvhe 苹果设备不认的原因大概是因为dvhe由hev1扩展而来(dvh1由hvc1扩展而来)，苹果不支持hev1自然也就不支持dvhe...

[zimq]

为什么你上面的截图显示编码是hev1，而不是dvhe？

[nilaoda]

ffmpeg封装的文件存在部分机器无法点亮杜比视界的问题，建议能用mp4box的就用mp4box

[hjkow]

大佬，ffmpeg查看视频信息后，出现下列信息，请问要怎么正确混流成杜比世界？
DOVI configuration record: version: 1.0, profile: 5, level: 5, rpu flag: 1, el flag: 0, bl flag: 1, compatibility id: 0

[hjkow]

又测试了一下，ts格式混流到mp4格式会出现帧率模式被改变的情况，大佬，请问咋解决？

[nilaoda]

参考另外两篇杜比视界混流的帖子

[hjkow]

另外两篇帖子不是用的ffmpeg，大佬的意思是ffmpeg不支持裸流封装吗？

[nilaoda]

ffmpeg -i men.ts -c:v copy -vbsf hevc_mp4toannexb -f hevc men1.hevc
mp4muxer -i men1.hevc -o men2.mp4 --dv-profile 5 --overwrite
ffmpeg -i men2.mp4 -strict unofficial -brand mp42 -c copy -y mux.mp4

其实最好用mp4box混流吧，ffmpeg封装的mp4在很多播放器上无法点亮杜比视界

[hjkow]

感谢大佬给出指令，我测试了一下，用mp4muxer.exe混流是正常的，但是ffmpeg.exe的话，就会出现很多问题（如Codec ID/Info信息丢失等情况）。至于大佬所说的mp4box不会用，找了很多教程，也不详细。另外，想问一下用mp4muxer.exe混流时，怎么插入metadata、copyright等信息？是只能用ffmpeg.exe插入吗？

[nilaoda]

mp4muxer作为中间步骤，然后用mp4box混流并写入metadata即可 #43

[artemisluck97]

请问鸟大有空的时候会考虑出个批量封装的gui吗，代码对小白不太友好😢，另外想问一下哪个代码是按照dvhe和dvh1封装的呀？因为看杜比官网说“mp4容器的只有dvhe和dvh1”，hev1就是封装错误了，但我封装出来的是hev1的。https://www.hao4k.cn/thread-70988-1-1.html
是这个链接里的图一这样的媒体信息，HDR格式和codeid长得和图一一样，不知道哪儿出错了，所以想问下鸟大哪个代码是封装成dvhe和dvh1的呀？

[nilaoda]

目前不建议用ffmpeg封装。最佳流程应该是先用杜比官方的 mp4muxer 封装一遍视频，生成中间mp4文件，然后再使用mp4box为其添加音轨、字幕等

[FishGrazier]

作者你好，请问这里给出的代码都是只能copy视频流吗？如果是，有没有相关命令在重新编码的时候保留杜比视界呢？

[nilaoda]

编码其实用什么都可以，编码完成后将RPU文件嵌入HEVC即可。可使用 dovi_tool

[zimq]

rpu跟分辨率相关吗，能不能把1080p杜比视界的rpu嵌入到同一个电影的4k sdr版本中呢？

[hym3242]

RPU 我感觉应该是不相关，从ffmpeg vf_showinfo 和杜比的几个专利(US10701399, WO2016172091A1)来看，好像只包含一些 VUI 信息和 reshaping curve

[hym3242]

额，我才看到你说的是嵌入到SDR版本，那是不可能有正确结果的

[zimq]

那可以嵌入到哪种版本，和hdr版本的组成profile8么？或者能不能把profile8的dv+hdr拆成只有dv的profile5？

…

---原始邮件--- 发件人: ***@***.***> 发送时间: 2023年10月27日(周五) 上午6:13 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [nilaoda/Blog] 【教程】使用ffmpeg5.0混流杜比视界 (Discussion #52) 额，我才看到你说的是嵌入到SDR版本，那是不可能有正确结果的 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***>

[hym3242]

如果你有两个分别为 Dolby Vision / SDR 的数据相同而分辨率不同的视频流，你也许可以把一个的RPU插到另一个里面。

至于你说的 "HDR" 大概是指的 HDR10，"profile8" 大概指的是 profile 8.1 (兼容 HDR10），HDR10兼容的部分应该就是所谓的 MaxCLL,MaxFALL,MasteringDisplayMetadata之类的(在 CTA-861 中定义,我看到的样本都是填的一样的数值，例如0.0001nit,1000nit,rec2020所以其实感觉意义不大) ，我还真不知道怎么移除……

[zimq]

如果你有两个分别为 Dolby Vision / SDR 的数据相同而分辨率不同的视频流，你也许可以把一个的RPU插到另一个里面。

至于你说的 "HDR" 大概是指的 HDR10，"profile8" 大概指的是 profile 8.1 (兼容 HDR10），HDR10兼容的部分应该就是所谓的 MaxCLL,MaxFALL,MasteringDisplayMetadata之类的(在 CTA-861 中定义,我看到的样本都是填的一样的数值，例如0.0001nit,1000nit,rec2020所以其实感觉意义不大) ，我还真不知道怎么移除……

主要是win10自带电视APP通过杜比官方拓展播放只支持profile5的mp4，iOS自带的预览也是，不知道hdr10兼容层是不是单独的数据，我一会试试

[zimq]

8.2和8.4的资源没见过有人发，所以区分8几没什么必要
https://professionalsupport.dolby.com/s/article/What-is-Dolby-Vision-Profile?language=en_US

[hym3242]

HDR10 兼容在 BL 层

最好标注一下来源 (for future reference)

[youzhiyuan030]

您好，请问使用“ffmpeg -i iOS_P5_GlassBlowing2_1920x1080@59.94fps_15200kbps.mp4 -strict unofficial -brand mp42 -c copy -y mux.mp4”这代码无法复制True-HD或者DTS-HD MA的音轨进入MP4文件中（EAC3/Atmosyi以下都貌似都没出问题），请问是需要新增什么代码或者别的软件去封装音频吗？我刚接触不是太懂，还麻烦您解答一下

[hym3242]

另外，尝试使用最新(master branch)的ffmpeg, ffmpeg没有所谓稳定版本的概念, 如果不是开发者, 建议一直使用最新版

[hym3242]

@youzhiyuan030 hello?

[youzhiyuan030]

您好，我确实是超级菜鸟，查了一会儿您说的log、gist、-v verbose、-v trace都没研究出来到底指代什么意思，所以前面也不知道怎么回您，如果您愿意的话可以分享一下您的邮箱，我尝试截取一段 杜比视界+DTS-hd ma音轨的MKV文件内容给您，看您是否能够尝试将其转为 杜比视界+Dts-hd ma音轨 的MP4文件。

[hym3242]

好吧, 其实你可以发个 Google drive 链接的. 在能够验证的基础上越短越好, 可以尝试用无损切割 (-c copy). mkv(matroska)对于 DTS 的支持貌似比mp4 (ISOBMFF, etc.) 要好. 另外, potplayer 能否正确播放?

[youzhiyuan030]

您好，最近发现通过您第一条示例的“ffmpeg -i iOS_P5_GlassBlowing2_1920x1080@59.94fps_15200kbps.mp4 -strict unofficial -brand mp42 -c copy -y mux.mp4”能够保留dobly audio除了true-hd/atmos之外的音轨，但是所有的字幕都会丢失，请问有什么方法可以把字幕保留下来或者通过什么方式把我另外下载外挂的字幕也一起封装进新的MP4文件去，例如当外挂字幕文件为“zimu.srt”，目录为"E:"时，能麻烦您演示一下吗？