在图像中找到斑马纹图案（从照片中检测结构光条纹中心线）

#1 楼

我建议执行以下步骤：


找到一个阈值以将前景与背景分开。
对于二进制图像中的每个斑点（一个斑马条纹），对于每个x，找到y方向上的加权中心（按像素强度）。
可以平滑y的值，以消除噪声。
通过拟合某种曲线连接(x,y)点。本文可能会为您提供帮助。我认为，即使更糟，也可以拟合高级多项式。

这是一个Matlab代码，显示了步骤1,2和4。我跳过了自动阈值选择。相反，我选择了手动th=40：

这些是通过找到每列的加权平均值而找到的曲线：


这些是拟合多项式后的曲线：


代码如下：

function Zebra()
    im = imread('http://i.stack.imgur.com/m0sy7.png');
    im = uint8(mean(im,3));

    th = 40;
    imBinary = im>th;
    imBinary = imclose(imBinary,strel('disk',2));
    % figure;imshow(imBinary);
    labels = logical(imBinary);
    props =regionprops(labels,im,'Image','Area','BoundingBox');

    figure(1);imshow(im .* uint8(imBinary));
    figure(2);imshow(im .* uint8(imBinary));

    for i=1:numel(props)
        %Ignore small ones
        if props(i).Area < 10
            continue
        end
        %Find weighted centroids
        boundingBox = props(i).BoundingBox;
        ul = boundingBox(1:2)+0.5;
        wh = boundingBox(3:4);
        clipped = im( ul(2): (ul(2)+wh(2)-1), ul(1): (ul(1)+wh(1)-1) );
        imClip = double(props(i).Image) .* double(clipped);
        rows = transpose( 1:size(imClip,1) );
        %Weighted calculation
        weightedRows  = sum(bsxfun(@times, imClip, rows),1) ./ sum(imClip,1);
        %Calculate x,y
        x = ( 1:numel(weightedRows) ) + ul(1) - 1;
        y = ( weightedRows ) + ul(2) - 1;
        figure(1);
        hold on;plot(x,y,'b','LineWidth',2);
        try %#ok<TRYNC>
            figure(2);
            [xo,yo] = FitCurveByPolynom(x,y);
            hold on;plot(xo,yo,'g','LineWidth',2);
        end
        linkaxes( cell2mat(get(get(0,'Children'),'Children')) )
    end        
end

function [xo,yo] = FitCurveByPolynom(x,y)
   p = polyfit(x,y,15); 
   yo = polyval(p,x);
   xo = x;
end

#2 楼

我不会使用RGB图像。彩色图像通常是通过在相机传感器上放置“拜耳滤镜”制成的，通常会降低分辨率。

如果使用灰度图像，我认为您所描述的步骤（“二进制化”斑马”图片，找到中线）是一个好的开始。最后一步，我将


取中线中的每个点
取上下“斑马线”中像素的灰度值
使用最小均方将抛物线拟合到这些灰度值
该抛物线的顶点是对中线位置的改进估计

#3 楼

通过将问题建模为“路径优化问题”，这是您的问题的另一种解决方案。尽管它比简单的二值化然后弯曲的解决方案复杂，但在实践中却更强大。

从非常高的层次来看，我们应该将此图像视为一个图，其中


每个图像像素都是该图上的一个节点
节点连接到其他一些节点（称为邻居），并且此连接定义通常称为该图的拓扑。
每个节点都有权重（功能，成本，能源或任何您想要称呼的权重） ），反映出该节点位于我们正在寻找的最佳中心线上的可能性。

，只要我们可以对此可能性进行建模，那么您找到“条纹中心线”的问题就变成了解决问题以在图上找到局部最优路径，这可以通过动态编程有效地解决，例如维特比算法。

以下是采用此方法的一些优点：


您的所有结果都是连续的（不同于阈值方法可能将一条中心线分解成碎片）
可以很自由地构建这样的图形，可以选择不同的特征和图形拓扑。
从路径优化的角度来看，您的结果是最佳的。
您的解决方案将对噪声更加鲁棒，因为只要噪声在所有像素之间平均分配，这些最佳路径就保持稳定。

以下是上述想法的简短演示。由于我不使用任何先验知识来指定可能的起始节点和终止节点，因此我只对每个可能的起始节点进行解码。


对于模糊结局，是由于我们正在为每个可能的结局节点寻找最佳路径这一事实造成的。结果，尽管对于位于黑暗区域中的某些节点，突出显示的路径仍然是其局部最优路径。

对于模糊路径，可以在找到后对其进行平滑处理，也可以使用一些平滑的特征代替原始强度。

可以通过更改起始节点和结束节点来恢复部分路径。

修剪这些不希望的局部最优路径并不困难。因为我们在维特比解码之后拥有所有路径的可能性，并且您可能会使用各种先验知识（例如，我们看到，对于共享同一源的人，我们只需要一条最优路径。）

更多详细信息，您可以参考本文。

 Wu, Y.; Zha, S.; Cao, H.; Liu, D., & Natarajan, P.  (2014, February). A Markov Chain Line Segmentation Method for Text Recognition. In IS&T/SPIE 26th Annual Symposium on Electronic Imaging (DRR), pp. 90210C-90210C.

以下是用于制作上述图形的一小段python代码。

import cv2
import numpy as np
from matplotlib import pyplot
# define your image path
image_path = ;
# read in an image
img = cv2.imread( image_path, 0 );
rgb = cv2.imread( image_path, -1 );

# some feature to reflect how likely a node is in an optimal path
img = cv2.equalizeHist( img ); # equalization
img = img - img.mean(); # substract DC
img_pmax = img.max(); # get brightest intensity
img_nmin = img.min(); # get darkest intensity
# express our preknowledge
img[ img > 0 ] *= +1.0  / img_pmax; 
img[ img = 1 :
    prev_idx = vt_path[ -1 ].astype('int');
    vt_path.append( path_buffer[ prev_idx, time ] );
    time -= 1;
vt_path.reverse();    
vt_path = np.asarray( vt_path ).T;

# plot found optimal paths for every 7 of them
pyplot.imshow( rgb, 'jet' ),
for row in range( 0, h, 7 ) :
    pyplot.hold(True), pyplot.plot( vt_path[row,:], c=np.random.rand(3,1), lw = 2 );
pyplot.xlim( ( 0, w ) );
pyplot.ylim( ( h, 0 ) );

#4 楼

我认为我应该发布我的答案，因为它与其他方法有些不同。我在Matlab中进行了尝试。


求所有通道的总和并创建图像，因此所有通道的权重均相等。
对此图像进行形态学闭合和高斯滤波
所得图像的每一列，找到局部最大值并构造图像
找到该图像的连接组件

我在这里看到的一个缺点是，这种方法在某些方向上效果不佳的条纹。在这种情况下，我们必须纠正其方向并应用此过程。

这是Matlab代码：

im = imread('m0sy7.png');
imsum = sum(im, 3); % sum all channels
h = fspecial('gaussian', 3);
im2 = imclose(imsum, ones(3)); % close
im2 = imfilter(im2, h); % smooth
% for each column, find regional max
mx = zeros(size(im2));
for c = 1:size(im2, 2)
    mx(:, c) = imregionalmax(im2(:, c));
end
% find connected components
ccomp = bwlabel(mx);

例如，如果您采取图片的中间列，其轮廓应如下所示：
（蓝色为轮廓，绿色为局部最大值）


包含图像的图像所有列的局部最大值看起来像这样：


这里是相连的组件（尽管一些条纹被折断了，但大多数都变成了连续区域）：