视频流中的车牌区域检测

检测原理

使用形态学梯度检测或sobel边缘检测（y方向）来检测出图片中物体的垂直边缘；
将检测结果转化成二值化图像；
使用闭运算（先膨胀，再腐蚀）进行区域填充，填补空洞，同时切断各个白色区域之间的连通；
使用轮廓检测函数findContours，找到每个白色区域的外切矩形坐标；
对找到的所有轮廓进行遍历，根据车牌的特征（宽高比、面积比、像素等）进行筛选，输出是车牌的轮廓坐标，并在原图像上画出框。

该算法只对跟车视频（如车上摄像头拍摄的视频）中的车牌检测效果较好，且对目标车辆的车牌与我们的摄像头距离有一定的要求（因为有车牌轮廓最小长宽的要求），限制性比较大。

代码实现

#include "pch.h"
#include <iostream>
#include <string>
#include <cxcore.h>
#include <cv.h>
#include <highgui.h>
#include <opencv2/opencv.hpp>
#include <opencv2/video.hpp>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp> //包含imread, imshow等
#include <opencv2/imgproc/imgproc.hpp> //包含cvtColor等

using namespace std;
using namespace cv;

string window_name_2 = "license_plate_detect";
string window_name_3 = "video_license_plate_detect";

// 使用形态学梯度检测或sobel边缘检测(y方向)来检测出垂直边缘
// 首先进行边缘检测，检测垂直边缘，使用形态学梯度、或者Sobel边缘检测的垂直方向
// 对边缘实现二值化
// 使用闭运算进行区域填充，填补空洞
// 使用轮廓检测findContours，找到车牌区域的轮廓
// 对找到的轮廓进行遍历，根据车牌的特征（宽高比、面积比、像素等）进行筛选，输出
Mat get_license_plate(int width, int height, Mat srcGray) {
    Mat result;
    //形态学梯度边缘检测,形态学梯度即膨胀图与腐蚀图之差，提取物体边缘
    //用Mat(1,2) ，用来检测出垂直的边缘,尽量减少横向的边缘连通车牌区域
    morphologyEx(srcGray, result, MORPH_GRADIENT, Mat(1, 2, CV_8U, Scalar(1)));
    //或用Sobel边缘检测,求y方向的Sobel边缘
    //GaussianBlur(srcGray, srcGray, Size(3, 3),2);
    //Sobel(srcGray, edgeYMat, CV_16S, 2, 0, 3, 1, 0, BORDER_DEFAULT);
    //线性变换，转换输入数组元素为8位无符号整形
    //convertScaleAbs(edgeYMat, result);
    //这是垂直方向边缘检测的结果,尽量减少横向的边缘连通车牌区域
    //imshow(window_name_2, result); 
    //图像二值化
    threshold(result, result, 255 * 0.1, 255, THRESH_BINARY);
    //二值化后结果
    //imshow(window_name_2, result);
    //开运算： 先腐蚀，再膨胀，可清除一些小东西(亮的)，放大局部低亮度的区域
    //闭运算：先膨胀，再腐蚀，可清除小黑点
    //水平方向闭运算
    //闭运算：填补空洞
    //检测目标尺寸400到600使用的闭运算算子为(1x25)水平方向，(8x1)垂直方向
    if (width >= 400 && width < 600) {
        morphologyEx(result, result, MORPH_CLOSE,Mat(1, 25, CV_8U, Scalar(1)));
    }
    //检测目标尺寸200到300使用的闭运算算子为(1x20)水平方向，(6x1)垂直方向    
    else if (width >= 200 && width < 300) {
        morphologyEx(result, result, MORPH_CLOSE, Mat(1, 20, CV_8U, Scalar(1)));
    }
    //检测目标尺寸大于600使用的闭运算算子为(1x28)水平方向，(6x1)垂直方向    
    else if (width >= 600) {
        morphologyEx(result, result, MORPH_CLOSE, Mat(1, 28, CV_8U, Scalar(1)));
    }
    //其余尺寸使用的闭运算算子为(1x15)水平方向，(4x1)垂直方向    
    else {
        morphologyEx(result, result, MORPH_CLOSE, Mat(1, 15, CV_8U, Scalar(1)));
    }
    //水平方向闭运算后的结果
    //imshow(window_name_2, result);
    //垂直方向闭运算
    if (width >= 400 && width < 600) {
        morphologyEx(result, result, MORPH_CLOSE, Mat(8, 1, CV_8U, Scalar(1)));
    }
    else if (width >= 200 && width < 300) {
        morphologyEx(result, result, MORPH_CLOSE, Mat(6, 1, CV_8U, Scalar(1)));
    }
    else if (width >= 600) {
        morphologyEx(result, result, MORPH_CLOSE, Mat(10, 1, CV_8U, Scalar(1)));
    }
    else {
        morphologyEx(result, result, MORPH_CLOSE, Mat(4, 15, CV_8U, Scalar(1)));
    }
    //垂直方向闭运算后的结果
    //imshow(window_name_2, result);
    return result;
}

// 对图片进行车牌检测,请输入彩色图像矩阵
Mat license_plate_detect(Mat pScr) {
    Mat graypScr;
    cvtColor(pScr, graypScr, CV_BGR2GRAY);
    // 车牌轮廓识别(得到闭运算后的结果,有许多白色的区域(候选车牌区域)
    Mat result = get_license_plate(400, 300, graypScr);
    //连通域检测
    vector<vector<Point>> blue_contours;
    vector<Rect>blue_rect;
    //FindContours从二值图像中检索轮廓，并返回检测到的轮廓的个数
    findContours(result.clone(), blue_contours, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_SIMPLE, Point(0, 0));
    //遍历检测到的轮廓，进行车牌目标提取
    for (size_t i = 0; i<blue_contours.size(); i++) {
        // 找到一个最小的矩形把轮廓包起来
        Rect rect = boundingRect(blue_contours[i]);
        //矩形区域宽高比
        double wh_ratio = double(rect.width) / rect.height;
        //非零像素点数，即白色像素点数(白色为255)
        int sub = countNonZero(result(rect));
        //白色像素占比
        double ratio = double(sub) / rect.area();
        //车牌特征，条件判断，宽高比大于2且小于8,高度大于12且宽度大于60且白色像素占比大于0.4
        if (wh_ratio > 2 && wh_ratio < 8 && rect.height>6 &&
            rect.width > 30 && ratio > 0.6) {
            // 在彩色图pScr上画框框出车牌
            rectangle(pScr, rect, Scalar(0, 0, 255), 2, 8, 0);
            //只显示graypScr中rect区域,也就是车牌所在区域
            //imshow(window_name_2, pScr(rect));
            //waitKey(0);
        }
    }
    //imshow(window_name_2, pScr);
    //waitKey(0);
    //destroyAllWindows();
    return pScr;
}

// 视频中进行车牌目标检测
void video_license_plate_detect(string load_path) {
    VideoCapture capture;
    Mat frame,result;
    if (load_path == "")
        frame = capture.open(0);
    else
        frame = capture.open(load_path);
    if (capture.isOpened()) {
        while (1) {
            capture >> frame;
            if (frame.empty())
                break;
            if (waitKey(10) >= 0)
                break;
            result = license_plate_detect(frame);
            namedWindow(window_name_3, WINDOW_AUTOSIZE);
            imshow(window_name_3, frame);
        }
    }
}

int main() {
    string load_path_car = "C:/Users/zgcr6/Desktop/高图实验/zonghe/save/car.jpg";
    string load_path_license_plate_video = "C:/Users/zgcr6/Desktop/高图实验/zonghe/save/car_2.avi";
    Mat pScr=imread(load_path_car, 1);
    Mat result=license_plate_detect(pScr);
    video_license_plate_detect(load_path_license_plate_video);
    return 0;
}