如何知道RTP H264流中的数据包顺序

Question

2）当我接收到一个数据包，并且它是“fragment_type==28”（不仅仅是这样，而是让我们认为我真的得到了一个片段），这意味着我有一个IDR片段。

3）每个报文都有一个由发信方生成的序列号，该序列号按如下顺序排列：如果报文a的序列号为20，则发信方发送的下一个报文为21，以此类推。

现在让我们来回答我的问题：

A）如果我有一个IDR要重建，我如何知道什么数据包属于这个IDR？让我举一个例子：IDR在数据包A、B、C和D中是分段的，数据包A是否总是有他的序列号6606（只是一个例子），因此例如B将有6607和C6608和D6609，或者序列号不一致？如果序列号不对，我认为我在数据包中有一个字段，上面写着“Hey！我是”HelloWorld“帧的一个片段。而另一个数据包出现了，上面写着”Hey！我也是“HelloWorld”框架的一个片段。但是其他的数据包会说：“嘿！我不像我的其他朋友一样属于HelloWorld帧，我属于”HelloHell“帧。那么，显示IDR属于哪个帧的是什么字段呢？

B）我如何从数据包中提取SPS和PPS？我读了很多关于这方面的主题，但我不能理解这些信息是在哪个字节中。在得到它之后，我如何将这些信息发送给我的解码器？

C）用户Cipi,我请求你帮我做一些关于问题B的代码示例。老兄,你真是帮了我的大忙。在知道之前,我所做的几乎都是因为你的帮助。你能帮我吗？

谢谢大家！我正在努力工作我的软件从一个IP Câmera（索尼SNC-EP580)得到这个流。

Answer 1

1)IDRs（也称I帧）是将整个图像分割成分组的图像。

任何帧都可以分成多个数据包。这通常与网络的MTU有关。

2）当我接收到一个数据包，并且它是“fragment_type==28”（不仅仅是这样，而是让我们认为我真的得到了一个片段），这意味着我有一个IDR片段。

如上文所述不正确。

3）每个报文都有一个由发信方生成的序列号，该序列号按如下顺序排列：如果报文a的序列号为20，则发信方发送的下一个报文为21，以此类推。

A）如果我有一个IDR要重建，我如何知道什么数据包属于这个IDR？

分片单元的第一个分组将具有在FU报头（有效载荷的第二字节）中设置的起始位。碎片单元的最后一个数据包将设置结束位。阅读RFC6184中的第5.8节，了解有关碎片单元的更多信息。

如何从数据包中提取SPS和PPS？

这取决于所使用的打包模式。在单NAL单元模式下，每个NAL单元（例如SPS或PPS）将位于其自己的RTP数据包中。在非交错模式下，您通常必须将STAP数据包拆分为原始的NAL单元。

在得到它之后，我如何发送这些信息给我的解码器？

这取决于解码器，所以您必须初始化，其他您可以只传递NAL单元，例如SPS或PPS，因为您将任何其他NAL单元。

我请求您帮助我提供一些关于问题B的代码示例。