用MediaCodec编辑帧和编码

Question

我能解码一个mp4视频。如果我使用surface配置解码器，我可以在屏幕上看到视频。现在，我要编辑帧（添加一条黄线，甚至更好的是重叠一个微小的图像），并将视频编码为一个新的视频。不需要显示视频，我现在也不关心性能。（如果我在编辑时显示帧，如果编辑功能花费大量时间，我可能会有间隙），那么，你给我推荐什么呢？还是用GlSurface配置解码器，使用OpenGL(GLES)，或者用null配置解码器，以某种方式将ByteBuffer转换为bitmap，修改它，并将位图编码为字节数组？此外，我在Grafika页面中看到，您可以使用一个带有自定义Rederer的Surface和使用OpenGL(GLES)。谢谢

Answer 1

您必须使用opengles。ByteBuffer/Bitmap方法不能提供真实的性能/特性。

现在您已经能够（使用MediaExtractor和Codec）将视频解码为表面，您需要使用用于将表面创建为外部纹理的SurfaceTexture并使用GLES呈现到从配置为编码器的MediaCodec检索的另一个表面。

虽然grafika没有完全类似的完整项目，但您可以从现有项目开始，然后尝试使用grafika连续相机或Show+capture相机中的以下子项目之一，该相机当前将Camera帧（馈送到SurfaceTexture）呈现为视频（和显示）。因此，本质上，唯一的改变是mediacodec将帧馈送到surfacetexture而不是camera。

谷歌CTS DecodeEditEncodeTest做的完全相同，可以作为参考，以便使学习曲线更平滑。

使用这种方法，你当然可以做各种各样的事情，比如操纵视频的播放速度（快进慢下），在场景上添加各种覆盖，使用着色器播放视频中的颜色/像素等。

在Show+capture camera中签出滤镜，以获得相同的插图。

解码-编辑-编码流程

虽然现代硬件编解码器支持同时进行视频编码和解码，但我建议，在同一线程中进行解码、呈现和编码，尤其是在您的情况下，此时性能并不是一个主要的关注点。这将有助于避免自己处理同步和/或帧跳转的问题。