FFmpeg里有两种时间戳:DTS(Decoding Time Stamp)和PTS(Presentation Time Stamp)。
PTS:Presentation-Time-Stamp。PTS主要用于度量解码后的视频帧什么时候被显示出来。
DTS:Decode-Time-Stamp。DTS主要是标识读入内存中的比特流在什么时候开始送入解码器中进行解码。
前者是解码的时间,后者是显示的时间。要仔细理解这两个概念,需要先了解FFmpeg中的packet和frame的概念。
FFmpeg中用AVPacket结构体来描述解码前或编码后的压缩包,用AVFrame结构体来描述解码后或编码前的信号帧。对于视频来说,AVFrame就是视频的一帧图像。这帧图像什么时候显示给用户,就取决于它的PTS。DTS是AVPacket里的一个成员,表示这个压缩包应该什么时候被解码。如果视频里各帧的编码是按输入顺序(也就是显示顺序)依次进行的,那么解码和显示时间应该是一致的。可事实上,在大多数编解码标准(如H.264或HEVC,当出现B帧的时候)中,编码顺序和输入顺序并不一致。于是才会需要PTS和DTS这两种不同的时间戳。
视频帧根据帧率,在同一时间基上累加,
例如,25帧每秒,则按毫秒计,1000/25=40ms,在首帧pts上进行累加 音频根据采样率及样本个数,在同一时间基上累加, 例如,1024个样本,44100采样率,毫秒计,
1000*1024/44100=23.21995464852607709750566893424 ms
基本理论是这样,但实际的同步远没有这么简单&#