CV：：SolvePnp中世界坐标中的摄像机位置

Question

我有一个校准的摄像机（固有矩阵和失真系数），我想知道摄像机的位置知道一些3D点和他们在图像中的对应点(2D点）。

我知道cv::solvePnP可以帮助我，读完这个和这个之后，我明白了solvePnPrvec和tvec的输出是物体在相机坐标系中的旋转和平移。

所以我需要找出世界坐标系中的相机旋转/平移。

found,rvec,tvec = cv2.solvePnP(object_3d_points, object_2d_points, camera_matrix, dist_coefs)
rotM = cv2.Rodrigues(rvec)[0]
cameraPosition = -np.matrix(rotM).T * np.matrix(tvec)

我不知道Python/Numpy（我使用的是C++)，但这对我来说没有多大意义：

• 从solvePnP输出的RVEC、tvec是3x1矩阵，3个元素向量
CV2.Rodrigues(rvec)是一个3x3矩阵
• CV2.Rodrigues(rvec)[0]是一个3x1矩阵，3个元素向量
• 摄像是一个3x1*1x3矩阵乘法，它是一个。3x3矩阵。如何在opengl中使用简单的gltranslateF和glrotot调用

Answer 1

如果“世界坐标”是指“物体坐标”，则必须得到pnp算法给出的结果的逆变换。

有一个反演变换矩阵的技巧，它允许您节省反演操作，这通常是昂贵的，这解释了Python中的代码。给定一个变换[Rt]，我们有inv([Rt])=[r'-r'*t]，其中r'是r的转置。因此，您可以编写（未经测试）代码：

cv::Mat rvec, tvec;
solvePnP(..., rvec, tvec, ...);
// rvec is 3x1, tvec is 3x1

cv::Mat R;
cv::Rodrigues(rvec, R); // R is 3x3

R = R.t();  // rotation of inverse
tvec = -R * tvec; // translation of inverse

cv::Mat T = cv::Mat::eye(4, 4, R.type()); // T is 4x4
T( cv::Range(0,3), cv::Range(0,3) ) = R * 1; // copies R into T
T( cv::Range(0,3), cv::Range(3,4) ) = tvec * 1; // copies tvec into T

// T is a 4x4 matrix with the pose of the camera in the object frame

更新：稍后，要在OpenGL中使用t，您必须记住，相机框架的轴在OpenCV和OpenGL之间是不同的。

OpenCV使用了计算机视觉中通常使用的引用：X指向右侧，Y向下，Z指向前方（如这张图像）。相机在OpenGL中的框架是：X指向右边，Y向上，Z指向后面（就像在这张图像的左手边）。因此，您需要应用一个旋转的X轴180度。这个旋转矩阵的公式在维基百科里。

// T is your 4x4 matrix in the OpenCV frame
cv::Mat RotX = ...; // 4x4 matrix with a 180 deg rotation around X
cv::Mat Tgl = T * RotX; // OpenGL camera in the object frame

这些转换总是让人困惑，我可能在某一步错了，所以对此半信半疑。

最后，考虑到OpenCV中的矩阵是按行-主顺序存储的，而OpenGL中的矩阵是按列-主顺序存储的。