视频流上做特效是前端还是后端，又或者是别的方式？

Question

目前只是一个提议，老板们想对目前的视频流加上一些趣味，比如视频里面的人有动作的时候，加入一些波纹啊，或者爆炸啊等等。。。

我们现在是python-opencv输出的视频流，给到的前端去实时渲染展现，延迟大概200ms以内吧。

现在这个想要加特效的需求，大家都没做过，也不知道该怎么弄？是前端来做，还是后端来做？又或者混合开发，前后都涉及一下？

因为本身opencv也具备一些功能，但是我用的也不太熟，目前我只用opencv给人体画了框和实心的颜色条而已，特效相关的也没有这方面的经验。

不论如何，有大虾们在这方面有经验和实践的，可以在技术方案上给个参考？或者开源库什么的等等。。。

• 当前技术栈

  • 后端: python和python-opencv
  • 前端: react
  • 通信: 前端用的socketio，python用的python-socketio

PS: 需要保证实时性<!!! 项目本身属于体育运动类型的, 非在线直播那种, 可以理解为你在摄像头下面做运动...> 所以会有一个巨大的显示屏在相关测试人员面前，你可以实时看到自己的动作。延迟大的话，肯定就直接体验不好了，毕竟你自己都能直观感受到��

Answer 1

一般是采用前端做法,比如客户端事先缓存特效文件,当出现礼物特效是,就直接显示就行了

Answer 2

实时增加效果么？那运行成本会很高吧。

建议后端跑一个任务，确定出现特效的时间、位置，然后存到配置文件里。前端播放的时候，加载配置文件，在指定位置播放特效。类似字幕的做法。