Android智能识别 - 银行卡区域裁剪

在真正开始看这篇文章之前,希望我们能先去了解一下这篇文章《NDK开发前奏 – 实现支付宝人脸识别功能》,此篇文章阅读起来可能会有些许难度,因此我们只要能看懂 c/c++ 语法,能跟上我分析问题的思路就可以了。后面我们会讲一些算法,会去介绍 opencv 的常用函数。当然我们学习 Ndk 主要还是为我们的 Android 来服务的,以便我们能读懂 android 底层源码,能做一些 Ndk 项目开发。

今天下班回家特意试了一下支付宝,用支付宝扫描了一下我的银行卡效果不是很佳,当然我相信大多数情况下是正常的。我这么讲只是想说明智能识别本就用一定的局限性,并不是 100% 非常正确。下面是支付宝的识别效果,上个图 (少了一位,错了两位):

《Android智能识别 - 银行卡区域裁剪》

像身份证、银行卡和人脸识别这些,一般网上都有技术支持的(部分需要付费),我们能不自己折腾的尽量不要自己折腾,但了解些原理还是有必要的。接下来我们来分析一下,且看我下面这两张银行卡,卡是真不少就是没钱。

《Android智能识别 - 银行卡区域裁剪》 农业银行
《Android智能识别 - 银行卡区域裁剪》 长沙银行

我们想要去识别银行卡其实思路也不难,只要找到他们的共性和特色就可以了。且看我下面画的这张图:

《Android智能识别 - 银行卡区域裁剪》

有几个特征,最外层是银行卡区域,左上角一般是 logo 和银行名称标识,右下角是银联区域,中间是我们要识别的卡号区域。有了这几个特征我们就有了思路了:

  1. 筛选过滤截取银行卡区域;
  2. 根据标识筛选截取银行卡号区域;
  3. 二值分析与特征提取;
  4. 数字分割识别显示。
1.筛选过滤截取银行卡区域

opencv 操作的是 mat 类型,我们拍照获取的是 Bitmap 类型,后面我们会获取每一帧进行处理,原理和套路都是一致的,由易到难,先来简单点的。所以第一个要写的方法就是 Bitmap 和 Mat 相互转换:

void MatBitmapUtil::bitmap2mat(JNIEnv *env, Mat &mat, jobject &bitmap) {
    // 锁定画布 获取首地址像素
    void* pixels = 0;
    AndroidBitmap_lockPixels(env,bitmap,&pixels);

    // 获取信息判断格式
    AndroidBitmapInfo *bitmapInfo = new AndroidBitmapInfo();
    AndroidBitmap_getInfo(env,bitmap,bitmapInfo);
    mat.create(bitmapInfo->height,bitmapInfo->width,CV_8UC4);

    if(bitmapInfo->format == ANDROID_BITMAP_FORMAT_RGBA_8888){
        // argb
        Mat temp(bitmapInfo->height,bitmapInfo->width,CV_8UC4,pixels);
        temp.copyTo(mat);
    } else if(bitmapInfo->format == ANDROID_BITMAP_FORMAT_RGB_565){
        // rgb
        Mat temp(bitmapInfo->height,bitmapInfo->width,CV_8UC2,pixels);
        temp.copyTo(mat,COLOR_BGR5652BGRA);
    }
    // 其他要自己去转
    
    // 解锁画布
    AndroidBitmap_unlockPixels(env,bitmap);
    delete(bitmapInfo);
}


void MatBitmapUtil::mat2Bitmap(JNIEnv *env, Mat &mat, jobject &bitmap) {
    // 1. 获取 bitmap 信息
    AndroidBitmapInfo info;
    void* pixels;
    AndroidBitmap_getInfo(env,bitmap,&info);

    // 锁定 Bitmap 画布
    AndroidBitmap_lockPixels(env,bitmap,&pixels);

    if(info.format == ANDROID_BITMAP_FORMAT_RGBA_8888){// C4
        Mat temp(info.height,info.width,CV_8UC4,pixels);
        if(mat.type() == CV_8UC4){
            mat.copyTo(temp);
        }
        else if(mat.type() == CV_8UC2){
            cvtColor(mat,temp,COLOR_BGR5652BGRA);
        }
        else if(mat.type() == CV_8UC1){// 灰度 mat
            cvtColor(mat,temp,COLOR_GRAY2BGRA);
        }
    } else if(info.format == ANDROID_BITMAP_FORMAT_RGB_565){// C2
        Mat temp(info.height,info.width,CV_8UC2,pixels);
        if(mat.type() == CV_8UC4){
            cvtColor(mat,temp,COLOR_BGRA2BGR565);
        }
        else if(mat.type() == CV_8UC2){
            mat.copyTo(temp);
        }
        else if(mat.type() == CV_8UC1){// 灰度 mat
            cvtColor(mat,temp,COLOR_GRAY2BGR565);
        }
    }
    // 其他要自己去转

    // 解锁 Bitmap 画布
    AndroidBitmap_unlockPixels(env,bitmap);
}

Bitmap 转 Mat 之后我们就可以用 opencv 去操作了,我们第一步是要找到银行卡区域,然后进行截取保存。所以我们首先需要对轮廓进行梯度增强,然后对图片进行二值化轮廓查找,筛选出最符合的区域。

Rect co1::find_card_area(const Mat &mat) {
    // 首先降噪
    Mat blur;
    GaussianBlur(mat, blur, Size(5, 5), BORDER_DEFAULT, BORDER_DEFAULT);

    // 梯度增强 , x 轴和 y 轴
    Mat grad_x, grad_y;
    Scharr(blur, grad_x, CV_32F, 1, 0);
    Scharr(blur, grad_y, CV_32F, 0, 1);
    Mat grad_abs_x, grad_abs_y;
    convertScaleAbs(grad_x, grad_abs_x);
    convertScaleAbs(grad_y, grad_abs_y);
    Mat grad;
    addWeighted(grad_abs_x, 0.5, grad_abs_y, 0.5, 0, grad);

    imwrite("/storage/emulated/0/ocr/grad_n.jpg",grad);

    // 二值化,进行轮廓查找
    Mat gray;
    cvtColor(grad, gray, COLOR_BGRA2GRAY);
    Mat binary;
    threshold(gray, binary, 40, 255, THRESH_BINARY);

    imwrite("/storage/emulated/0/ocr/binary_n.jpg",binary);

    // 轮廓查找
    vector<vector<Point> > contours;
    findContours(binary, contours, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE);
    Rect card_rect;
    for (int i = 0; i < contours.size(); ++i) {
        Rect rect = boundingRect(contours[i]);
        // 是不是符合规则
        if (rect.width > mat.cols / 2 && rect.width != mat.cols && rect.height > mat.rows / 2) {
            card_rect = rect;
            break;
        }
    }
    // release source
    blur.release();
    grad_x.release();
    grad_y.release();
    grad_abs_x.release();
    grad_abs_y.release();
    grad.release();
    gray.release();
    binary.release();
    // return card rect
    return card_rect;
}
2. 根据标识筛选截取银行卡号区域

截取到银行卡区域后,我们就可以根据我们的银行卡标识,去筛选截取我们的卡号区域。

JNIEXPORT jint JNICALL
Java_com_darren_ndk_day05_FaceDetection_bankOcr(JNIEnv *env, jobject instance,
                                                              jobject bitmap) {
    // Bitmap 转成 opencv 能操作的 C++ 对象 Mat , Mat 是一个矩阵
    Mat mat;
    MatBitmapUtil::bitmap2mat(env, mat, bitmap);
    // 1.筛选过滤截取银行卡区域
    Rect card_rect = co1::find_card_area(mat);
    Mat card_mat(mat,card_rect);
    //  2. 根据标识筛选截取银行卡号区域;
    Rect card_number_rect = co1::find_card_number_area(mat);
    Mat card_number_mat(card_mat,card_number_mat);
    //  3. 写入文件看一看
    imwrite("/storage/emulated/0/ocr/card_number.jpg",card_mat);
    LOGE("处理完毕");
    return 0;
}

《Android智能识别 - 银行卡区域裁剪》 card_number

这其实才刚刚开始,假设光线不强呢?很多银行卡没有银联的标识,又或者某些银行卡的干扰太多。后面的文章我们将陆续去完善,直到可以获取相机的每一帧进行处理。

视频链接:https://pan.baidu.com/s/10IvWru9d6yhFkNNY7z18Vw
视频密码:0n67

    原文作者:红橙Darren
    原文地址: https://www.jianshu.com/p/a763eeb8159f
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞