当前位置: 首页 > 面试题库 >

Python Opencv SolvePnP产生错误的翻译向量

那鹏
2023-03-14
问题内容

我正在尝试使用单应性在Blender 3d中校准并找到单个虚拟相机的位置和旋转。我正在使用Blender,以便在进入更加困难的现实世界之前可以仔细检查结果。

从固定相机的角度来看,我在不同位置和旋转位置上绘制了十张国际象棋棋盘的图片。使用OpenCV的Python,我曾经cv2.calibrateCamera从十张图像中从棋盘的检测到的角落中找到本征矩阵,然后将其cv2.solvePnP用于寻找外部参数(平移和旋转)。

但是,尽管估计的参数与实际参数很接近,但是仍然有些麻烦。我对翻译的初步估计是(-0.11205481,-0.0490256,8.13892491)。实际位置是(0,0,8.07105)。很接近吧?

但是,当我稍微移动和旋转相机并重新渲染图像时,估计的平移距离就更远了。估计:(-0.15933154,0.13367286,9.34058867)。实际:(-1.7918,-1.51073,9.76597)。Z值接近,而X和Y则不。

我完全感到困惑。如果有人可以帮助我解决这个问题,我将不胜感激。这是代码(基于OpenCV随附的Python2校准示例):

#imports left out
USAGE = '''
USAGE: calib.py [--save <filename>] [--debug <output path>] [--square_size] [<image mask>]
'''

args, img_mask = getopt.getopt(sys.argv[1:], '', ['save=', 'debug=', 'square_size='])
args = dict(args)
try: img_mask = img_mask[0]
except: img_mask = '../cpp/0*.png'
img_names = glob(img_mask)
debug_dir = args.get('--debug')
square_size = float(args.get('--square_size', 1.0))

pattern_size = (5, 8)
pattern_points = np.zeros( (np.prod(pattern_size), 3), np.float32 )
pattern_points[:,:2] = np.indices(pattern_size).T.reshape(-1, 2)
pattern_points *= square_size

obj_points = []
img_points = []
h, w = 0, 0
count = 0
for fn in img_names:
    print 'processing %s...' % fn,
    img = cv2.imread(fn, 0)
    h, w = img.shape[:2]
    found, corners = cv2.findChessboardCorners(img, pattern_size)

    if found:
        if count == 0:
            #corners first is a list of the image points for just the first image.
            #This is the image I know the object points for and use in solvePnP
            corners_first =  []
            for val in corners:
                corners_first.append(val[0])                
            np_corners_first = np.asarray(corners_first,np.float64)                
        count+=1
        term = ( cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_COUNT, 30, 0.1 )
        cv2.cornerSubPix(img, corners, (5, 5), (-1, -1), term)
    if debug_dir:
        vis = cv2.cvtColor(img, cv2.COLOR_GRAY2BGR)
        cv2.drawChessboardCorners(vis, pattern_size, corners, found)
        path, name, ext = splitfn(fn)
        cv2.imwrite('%s/%s_chess.bmp' % (debug_dir, name), vis)
    if not found:
        print 'chessboard not found'
        continue
    img_points.append(corners.reshape(-1, 2))
    obj_points.append(pattern_points)

    print 'ok'

rms, camera_matrix, dist_coefs, rvecs, tvecs = cv2.calibrateCamera(obj_points, img_points, (w, h))
print "RMS:", rms
print "camera matrix:\n", camera_matrix
print "distortion coefficients: ", dist_coefs.ravel()    
cv2.destroyAllWindows()

np_xyz = np.array(xyz,np.float64).T #xyz list is from file. Not shown here for brevity
camera_matrix2 = np.asarray(camera_matrix,np.float64)
np_dist_coefs = np.asarray(dist_coefs[:,:],np.float64)

found,rvecs_new,tvecs_new = cv2.solvePnP(np_xyz, np_corners_first,camera_matrix2,np_dist_coefs)

np_rodrigues = np.asarray(rvecs_new[:,:],np.float64)
print np_rodrigues.shape
rot_matrix = cv2.Rodrigues(np_rodrigues)[0]

def rot_matrix_to_euler(R):
    y_rot = asin(R[2][0]) 
    x_rot = acos(R[2][2]/cos(y_rot))    
    z_rot = acos(R[0][0]/cos(y_rot))
    y_rot_angle = y_rot *(180/pi)
    x_rot_angle = x_rot *(180/pi)
    z_rot_angle = z_rot *(180/pi)        
    return x_rot_angle,y_rot_angle,z_rot_angle

print "Euler_rotation = ",rot_matrix_to_euler(rot_matrix)
print "Translation_Matrix = ", tvecs_new

问题答案:

我想您可能会认为是tvecs_new相机位置。事实并非如此!实际上,这是相机坐标系世界起源的位置。为了使相机处于物体/世界坐标中,我相信您需要

-np.matrix(rotation_matrix).T * np.matrix(tvecs_new)

你可以使用获得欧拉角cv2.decomposeProjectionMatrix(P)[-1]那里P[r|t]3乘4外在矩阵。

我发现这是一篇关于内在和外在的不错的文章。



 类似资料:
  • 我正在尝试使用OpenNLP训练一个名称实体模型,但得到这个错误时,我不知道缺少了什么。我是这个OPENNLP的新手,任何人请帮忙,可以提供培训。txt文件(如果需要) 我的密码是

  • 我正在使用 我得到以下错误,我不明白我做错了什么

  • 我有一个项目有几个,对于Android Studio的第一次构建(使用jdk 1.8或1.7,没关系),它失败了,有以下错误,但奇怪的部分是第二次运行它正在工作,非常烦人和耗时: :app:transformClassesWithDexForBuildVariantDebug < br >未捕获的转换错误:com . Android . dx . cf . code . sime异常:局部变量类型

  • 我尝试使用--stacktrace和--debug选项获取更多日志,但没有帮助。 欢迎任何帮助。 [编辑1] 我找到了这个线程,并检查了下面显示的代码样式。 我有许多代码行将被优化删除,使用静态final变量(如buildconfig.debug)根据构建模式(如debug/release、free/payed)来控制代码行为。但我找不到线程指出的问题的相同模式。

  • 我正在尝试为自定义模板类创建一个加法运算符,其中第一个参数可以是我的类的实例,也可以是基本的数字类型。My operator的定义类似于下面的示例代码: 我的预期是,由于SFINAE,试图用

  • 我正在尝试使用Java8按姓名和年龄对员工列表进行排序,我在下面创建了,但它给我一个编译器错误