从OpenGL深度缓冲区获取世界坐标

Question

我正在使用pyBullet,它是bullet3物理引擎的python包装器，我需要从虚拟相机创建点云。
这个引擎使用基本的OpenGL渲染器，我可以从OpenGL深度缓冲区中获得值

img = p.getCameraImage(imgW, imgH, renderer=p.ER_BULLET_HARDWARE_OPENGL)
rgbBuffer = img[2]
depthBuffer = img[3]

现在我有了具有深度值的Width*Height数组。我怎么能从中得到世界坐标？我试图保存。ply点云和点(width，height，depthBuffer(width，height))，但这并不能创建看起来像场景中对象的点云。

我还尝试用远近平面校正深度：

depthImg = float(depthBuffer[h, w])
far = 1000.
near = 0.01
depth = far * near / (far - (far - near) * depthImg)

但结果也是一些奇怪的点云。如何从深度缓冲区的数据中创建逼真的点云？有可能吗？

我在C++中做了类似的事情，但在那里我使用了GLM：：Unproject

for (size_t i = 0; i < height; i = i = i+density) {
        for (size_t j = 0; j < width; j = j = j+density) {

            glm::vec3 win(i, j, depth);
            glm::vec4 position(glm::unProject(win, identity, projection, viewport), 0.0);

编辑：

    for h in range(0, imgH, stepX):
       for w in range(0, imgW, stepY):
          depthImg = float(np.array(depthBuffer)[h, w])
          far = 1000.
          near = 0.01
          depth = far * near / (far - (far - near) * depthImg)
          win = glm.vec3(h, w, depthBuffer[h][w])
          position = glm.unProject(win, model, projGLM, viewport)
          f.write(str(position[0]) + " " + str(position[1]) + " " + str(depth) + "\n")

Answer 1

以下是我的解决方案。我们只需要知道视图矩阵和投影矩阵是如何工作的。PyBullet中有computeProjectionMatrixFOV和computeViewMatrix功能。http://www.songho.ca/opengl/gl_projectionmatrix.html和http://ksimek.github.io/2012/08/22/extrinsic/总之，point_in_world=inv(projection_matrix*viewMatrix)*NDC_pos

unproject是另一种解决方案

    stepX = 10
    stepY = 10        
    pointCloud = np.empty([np.int(img_height/stepY), np.int(img_width/stepX), 4])
    projectionMatrix = np.asarray(projection_matrix).reshape([4,4],order='F')
    viewMatrix = np.asarray(view_matrix).reshape([4,4],order='F')
    tran_pix_world = np.linalg.inv(np.matmul(projectionMatrix, viewMatrix))
    for h in range(0, img_height, stepY):
        for w in range(0, img_width, stepX):
            x = (2*w - img_width)/img_width
            y = -(2*h - img_height)/img_height  # be careful！ deepth and its corresponding position
            z = 2*depth_np_arr[h,w] - 1
            pixPos = np.asarray([x, y, z, 1])
            position = np.matmul(tran_pix_world, pixPos)

            pointCloud[np.int(h/stepY),np.int(w/stepX),:] = position / position[3]