从NumPy数组到Mat的C ++转换（OpenCV）

Question

我正在围绕ArUco增强现实库（基于OpenCV）编写一个薄包装纸。我尝试构建的接口非常简单：

• Python将图像传递给C ++代码；
• C ++代码检测标记并将标记的位置和其他信息作为字典元组返回给Python。

但是，我不知道如何在Python中表示图像以将其传递给C
++。对于GUI和摄像机管理，我将使用PyQt，因此起初它将是QImage，但我不能简单地将其传递给OpenCV（或者可以吗？）。首先，我尝试使用嵌套元组来表示每个像素的行，列和颜色，因此最终得到了以下示例代码：

using namespace cv;
namespace py = boost::python;

void display(py::tuple pix)
{
    /*
        Receive image from Python and display it.
    */
    Mat img(py::len(pix), py::len(pix[0]), CV_8UC3, Scalar(0, 0, 255));
    for (int y = 0; y < py::len(pix); y++)
        for (int x = 0; x < py::len(pix[y]); x++)
        {
            Vec3b rgb;
            for (int i = 0; i < 3; i++)
                rgb[i] = py::extract<int>(pix[y][x][i]);
            img.at<Vec3b>(Point(x, y)) = rgb;
        }
    imshow("Image", img);
    waitKey(0);
}

BOOST_PYTHON_MODULE(aruco)
{
    py::def("display", display);
}

事实证明，它非常慢（一个帧只有几秒钟），所以我进行了谷歌搜索，发现应该更快的解决方案：使用NumPy数组，因此代码看起来像这样：

void display(py::object array)
{
    Mat img;
    // ... some magic here to convert NumPy array to Mat ...
    imshow("Image", img);
    waitKey(0);
}

但是，我不知道如何将NumPy数组（在C ++级别中仅为Python对象）转换为OpenCV Mat。在这里，我将不胜感激。

另外，也许不是真的需要NumPy，所以我可以将QImage Python对象直接传递到C ++层吗？也许有解决此问题的其他方法？任何建议表示赞赏！

Answer 1

您情况下的最佳解决方案是为cv :: Mat对象使用自定义boost ::
python转换器。OpenCV具有Python包装器，当您使用该包装器时，您需要对Numpy数组进行操作-您甚至不需要知道在“跨越c ++ <->
python边界”时将这些数组转换为cv :: Mat对象。为简单类型编写此类转换器非常容易，但是为cv ::
Mat创建转换器并不容易。幸运的是，其他人已经做到了-这是OpenCV
2.x的版本，这里是3.x的版本。如果您不熟悉boost
:: python转换器，那么本文将为您提供帮助。
希望对您有所帮助，如果您有任何问题，请告诉我们。