如何使用python和OpenCV从。yuv视频文件(YUV420)中提取帧？

Question

我需要读取一个yuv视频文件，从中提取单个帧，将其转换为灰度，然后计算相邻帧之间的卢卡斯·卡纳德光流。我最初使用的是mp4视频，这是我提取单个帧的代码：

import cv2 as cv
import numpy as np
cap = cv.VideoCapture('C:\\Users\\Ann Baiju\\Project\\video_tampering_dataset\\videos\\h264_lossless\\07_forged.mp4')

ret, frame1 = cap.read()
prvs = cv.cvtColor(frame1, cv.COLOR_BGR2GRAY)

height, width, _ = frame1.shape

while(1):
    ret, frame2 = cap.read()
    if ret==False: break
    next = cv.cvtColor(frame2, cv.COLOR_BGR2GRAY)
    #Code for calculating Lucas Kanade optical flow
    N=N+1
    prvs = next

cap.release()

现在有些事情改变了，我不得不使用yuv视频文件的数据集。但是当我给VideoCapture（）一个yuv文件时，我会得到如下错误：

[IMGUTILS@00000078A4Bee5C0]图片大小0x0无效[错误：0]全局C:\projects\opencv-python\OpenCV\modules\VIDEOIO\src\cap.cpp(116)CV::videoCapture::open VIDEOIO(CV_IMAGES):引发OpenCV异常：

Traceback（最近的调用为last）：文件“test1.py”，第6行，在prvs=cv.cvtcolor(frame1,cv.color_bgr2gray)cv2中。错误:OpenCV(4.1.2)c:\projects\opencv-python\OpenCV\modules\imgproc\src\color.cpp:182:错误:(-215:断言失败）！_src.empty()在函数'cv::cvtcolor'中

我怎么解决这个？另外，我知道yuv是一个原始视频文件格式，没有大小或fps信息在其中。是否有某种方法可以从文件中推断出来，或者我必须手动输入这些信息？

关于如何从yuv视频中获取帧大小信息（高度和宽度）的问题，是否可以使用FFmpeg将yuv视频转换为其他格式（如mp4)，从中获取信息，然后删除mp4视频，继续使用yuv视频？如果是，怎么做？

import cv2
import numpy as np
import os
import subprocess as sp

yuv_filename = 'can_0.yuv'
#flow=[]

width, height = 320, 240

file_size = os.path.getsize(yuv_filename)
n_frames = file_size // (width*height*3 // 2)
f = open(yuv_filename, 'rb')


old_yuv = np.frombuffer(f.read(width*height*3//2), dtype=np.uint8).reshape((height*3//2, width))
cv2.imshow('frame',old_yuv)
cv2.waitKey(3000)

# Convert YUV420 to Grayscale
old_gray = cv2.cvtColor(old_yuv, cv2.COLOR_YUV2GRAY_I420)
cv2.imshow('frame_gs',old_gray)
cv2.waitKey(3000)

对于yuv图像来说，这是正常的还是某种分辨率问题？还有为什么没有颜色？然而，当我把它转换成灰度时，它就正常了：

原始框架是（使用YuvPlayer2.5查看）：

Answer 1

没有单一的YUV420文件格式，但许多可能的像素排序。

我创建了一个“自包含”的代码示例，用于演示读取YUV420帧。
代码示例：

• 使用ffmpeg生成YUV420格式的合成视频。
  要执行示例，请下载（或安装）最新的稳定版本。
  对于Windows OS，可以将ffmpeg.exe放在与Python脚本相同的路径中。
• 逐帧读取YUV420，转换为BGR，并显示每一帧。
  您不需要颜色，但它可能对测试很重要。
• 将YUV420转换为灰度，并将每个帧显示为灰度。

YUV像素的范围是“有限范围”：

• y范围为[16,235]。
• u和V的范围是[16,240]。

代码如下：

import cv2
import numpy as np
import os
import subprocess as sp

# Build synthetic video and read binary data into memory (for testing):
#########################################################################
mp4_filename = 'input.mp4'  # the mp4 is used just as reference
yuv_filename = 'input.yuv'
width, height = 640, 480
fps = 1 # 1Hz (just for testing)

# Build synthetic video, for testing (the mp4 is used just as reference):
sp.run('ffmpeg -y -f lavfi -i testsrc=size={}x{}:rate=1 -vcodec libx264 -crf 18 -t 10 {}'.format(width, height, mp4_filename))
sp.run('ffmpeg -y -f lavfi -i testsrc=size={}x{}:rate=1 -pix_fmt yuv420p -t 10 {}'.format(width, height, yuv_filename))
#########################################################################


file_size = os.path.getsize(yuv_filename)

# Number of frames: in YUV420 frame size in bytes is width*height*1.5
n_frames = file_size // (width*height*3 // 2)

# Open 'input.yuv' a binary file.
f = open(yuv_filename, 'rb')

for i in range(n_frames):
    # Read Y, U and V color channels and reshape to height*1.5 x width numpy array
    yuv = np.frombuffer(f.read(width*height*3//2), dtype=np.uint8).reshape((height*3//2, width))

    # Convert YUV420 to BGR (for testing), applies BT.601 "Limited Range" conversion.
    bgr = cv2.cvtColor(yuv, cv2.COLOR_YUV2BGR_I420)

    # Convert YUV420 to Grayscale
    gray = cv2.cvtColor(yuv, cv2.COLOR_YUV2GRAY_I420)

    #Show RGB image and Grayscale image for testing
    cv2.imshow('rgb', bgr)
    cv2.waitKey(500)  # Wait a 0.5 second (for testing)
    cv2.imshow('gray', gray)
    cv2.waitKey(500)  # Wait a 0.5 second (for testing)

f.close()

cv2.destroyAllWindows()

null

null

ffmpeg -y -s 640x480 -pixel_format yuv420p -i input.yuv -vcodec rawvideo -pix_fmt bgr24 input.avi

sp.run('ffmpeg -y -s {}x{} -pixel_format yuv420p -i input.yuv -vcodec rawvideo -pix_fmt bgr24 input.avi'.format(width, height))

>

未压缩的AVI视频文件将非常大（是YUV文件大小的两倍）。
如果视频质量不是最重要的，可以使用H.264压缩（例如）：

ffmpeg -y -s 640x480 -pixel_format yuv420p -i input.yuv -vcodec libx264 -crf 17 -pix_fmt yuv420p input.mp4

-CRF 17参数保持高质量（几乎无损）。
注意：使用H.264编码时，文件格式.mp4或.avi并不重要（但使用H.264编码时，.mp4更常见）。