Python-如何消除数独方块中的凸度缺陷？

Question

我当时在做一个有趣的项目：使用OpenCV（如Google护目镜等）从输入图像中解决数独。我已经完成了任务，但是最后我发现了一个我来到这里的小问题。

我使用OpenCV 2.3.1的Python API进行了编程。

以下是我所做的：

1. 读取图像
2. 找到轮廓
3. 选择一个具有最大面积的（（也有些等同于正方形））。
4. 找到拐角点。

例如下面给出：

（请注意，绿线正确地与数独的真实边界重合，因此数独可以正确变形。请检查下一张图片）

1. 使图像变形为完美的正方形

例如图片：

在此处输入图片说明

1. 执行OCR（为此我使用了我在OpenCV-Python的简单数字识别OCR中给出的方法）

而且该方法效果很好。

问题：

在此图像上执行步骤4会得到以下结果：

画出的红线是原始轮廓，是数独边界的真实轮廓。

画出的绿线是近似轮廓，它将是变形图像的轮廓。

数独顶部的绿线和红线之间当然有区别。因此，在扭曲时，我并没有获得数独的原始边界。

我的问题 ：

如何在数独的正确边界（即红线）上扭曲图像，或者如何消除红线和绿线之间的差异？OpenCV中有什么方法吗？

Answer 1

我有一个可行的解决方案，但是你必须自己将其转换为OpenCV。它用Mathematica编写。

第一步是通过将每个像素除以关闭操作的结果来调整图像的亮度：

src = ColorConvert[Import["http://davemark.com/images/sudoku.jpg"], "Grayscale"];
white = Closing[src, DiskMatrix[5]];
srcAdjusted = Image[ImageData[src]/ImageData[white]]

下一步是找到数独区域，因此我可以忽略（遮罩）背景。为此，我使用了连通成分分析，并选择了具有最大凸面面积的成分：

components = 
  ComponentMeasurements[
    ColorNegate@Binarize[srcAdjusted], {"ConvexArea", "Mask"}][[All, 
    2]];
largestComponent = Image[SortBy[components, First][[-1, 2]]]

通过填充此图像，我得到了数独网格的蒙版：

mask = FillingTransform[largestComponent]

现在，我可以使用二阶导数滤波器在两个单独的图像中查找垂直线和水平线：

lY = ImageMultiply[MorphologicalBinarize[GaussianFilter[srcAdjusted, 3, {2, 0}], {0.02, 0.05}], mask];
lX = ImageMultiply[MorphologicalBinarize[GaussianFilter[srcAdjusted, 3, {0, 2}], {0.02, 0.05}], mask];

我再次使用连接的分量分析从这些图像中提取网格线。网格线比数字长得多，因此我可以使用卡尺长度来仅选择与网格线相连的组件。按位置对它们进行排序，对于图像中的每个垂直/水平网格线，我得到2x10的蒙版图像：

verticalGridLineMasks = 
  SortBy[ComponentMeasurements[
      lX, {"CaliperLength", "Centroid", "Mask"}, # > 100 &][[All, 
      2]], #[[2, 1]] &][[All, 3]];
horizontalGridLineMasks = 
  SortBy[ComponentMeasurements[
      lY, {"CaliperLength", "Centroid", "Mask"}, # > 100 &][[All, 
      2]], #[[2, 2]] &][[All, 3]];

接下来，我将每对垂直/水平网格线进行放大，将它们相乘，计算出像素间的交点，并计算结果的中心。这些点是网格线的交点：

centerOfGravity[l_] := 
 ComponentMeasurements[Image[l], "Centroid"][[1, 2]]
gridCenters = 
  Table[centerOfGravity[
    ImageData[Dilation[Image[h], DiskMatrix[2]]]*
     ImageData[Dilation[Image[v], DiskMatrix[2]]]], {h, 
    horizontalGridLineMasks}, {v, verticalGridLineMasks}];

最后一步是为通过这些点的X / Y映射定义两个插值函数，并使用这些函数变换图像：

fnX = ListInterpolation[gridCenters[[All, All, 1]]];
fnY = ListInterpolation[gridCenters[[All, All, 2]]];
transformed = 
 ImageTransformation[
  srcAdjusted, {fnX @@ Reverse[#], fnY @@ Reverse[#]} &, {9*50, 9*50},
   PlotRange -> {{1, 10}, {1, 10}}, DataRange -> Full]

所有操作都是基本的图像处理功能，因此在OpenCV中也应该可行。基于样条的图像转换可能会更困难，但我认为你并不是真的需要它。可能使用你现在在每个单个单元格上使用的透视变换，将获得足够好的结果。