Android Camerax视频序列化与传输

Question

在一个涉及光学摄像机通信(OCC)的研究项目中，我需要主动分析视频帧，我目前正在我的pc上使用python和opencv进行离线分析（我用智能手机录制视频，然后进行处理）。我想用我的三星galaxy A40上的相机现场处理视频。我对android开发相当陌生，所以我只想创建一个用于捕获视频并将其传输到我的pc上进行分析的基本应用程序。我的应用程序要求在30 fps或更高的速度下捕获1080p。

任何想法都欢迎！提前谢了。

Answer 1

如果您真的关心性能，您应该使用UDP而不是TCP。请记住，UDP不能保证您发送的数据包在接收者端以相同的顺序到达，或者如果有的话，您可以在单个UDP消息中发送的最大数据包大小是65535字节。因此，由您来实现某种逻辑，以便在接收方重新排序数据包，并告诉发送方您错过了一些东西。

通常，实时流媒体应用如Stadia、PS Remote Play等都使用了某种前向纠错机制，以便接收者能够自行恢复丢失的数据包。对于我的流媒体应用程序，我使用了Jerasure。但是使用FEC当然是可选的。

格式YUV_420_888在压缩方面也不是很理想，对于流媒体，我会建议像H.264或VP8这样的格式。你会在互联网上找到一些例子，例如（这个项目有点老，但它可能有助于了解这个想法）

1. 唯一标识符（以便接收器知道数据包属于哪个YUV_420_888帧）
2. 序列号（如果将一个YUV_420_888帧分成10个片段，则索引将介于0和9之间）
3. 关于接收方可以为分割的YUV_420_888帧预期多少序列号的信息

拆分一个大的YUV_420_888帧的原因是为了避免MTU问题（大于当前默认MTU值的消息将被丢弃，通常是1500字节左右）。