CTPN CRNN銀行カードの識別

CTPN、CRNN文字認識し、フラスコのWebクレジットカードの番号の識別を実現することにより、文字列の配置のための
Githubの住所

私は学校のカリキュラムが必要このプロジェクトを完了するために、機械学習の方向はないですので、
その記事はまだ始まったばかりと、このプロジェクトを完了し取得することができる、根深い原則として、2つの中国のボーエンをお勧めします

[OCR]技術シリーズファイブ調査、自然のシーンテキスト検出（CTPN、SegLink、EAST）
CRNN詳細[OCR]でテクニカルシリーズのセブン-エンド可変長文字認識アルゴリズム

基礎動作環境の構築

ハードウェアのデバイスドライバ依存部と次の
CUDA 8.0.61 + + + NVIDIAのGeForce GTX 960Mドライバ430.14 + + Tensorflow-GPU Python3.6 Ubuntu18.04

NVIDIA 430.14ドライバのダウンロード
 CUDA 8.0のダウンロード

インストールが完了したら、次の順序でお使いのデバイスで確認することができます

クローンソースコード、および仮想環境のpython3を生成し、

git clone https://github.com/bay1/card-crnn-ctpn.git

python3 -m virtualenv venv

source venv/bin/activate # 激活虚拟环境

pip install -r requirements.txt # 安装项目依赖

warpctc-pytorchの設定

プロジェクトはwarpctc-pytorchを使用して、我々は、手動でインストールする必要が
コマンドは、Pythonの仮想環境内で実行されることを注意を

git clone https://github.com/SeanNaren/warp-ctc.git
cd warp-ctc
mkdir build; cd build
cmake ..
make

お使いのgccのバージョンがあまりにも、5.0未満のバージョンを必要とするので、あなたは、次のエラーが発生する可能性があり、それがあります

/usr/local/cuda-8.0/include/host_config.h:119:2: error: #error -- unsupported GNU version! gcc versions later than 5 are not supported!
 #error -- unsupported GNU version! gcc versions later than 5 are not supported!
  ^~~~~

GCCの複数のバージョンがシステム上にある場合は、次のコマンドを実行することができ、特定の命令をリンクするための「GCC」コマンドを指定する
例を、私は私がシステムに存在する異なるgccのバージョンを指定：GCC-4.9を

sudo rm /usr/bin/gcc
sudo ln -s /usr/bin/gcc-4.9  /usr/bin/gcc

また、次のエラーが発生する可能性があります

/usr/bin/ld: CMakeFiles/test_gpu.dir/tests/test_gpu_generated_test_gpu.cu.o: relocation R_X86_64_32S against `.bss' can not be used when making a PIE object; recompile with -fPIC
/usr/bin/ld: 最后的链结失败: 输出不可表示的节
collect2: error: ld returned 1 exit status
CMakeFiles/test_gpu.dir/build.make:98: recipe for target 'test_gpu' failed
make[2]: *** [test_gpu] Error 1
CMakeFiles/Makefile2:146: recipe for target 'CMakeFiles/test_gpu.dir/all' failed
make[1]: *** [CMakeFiles/test_gpu.dir/all] Error 2
Makefile:129: recipe for target 'all' failed
make: *** [all] Error 2

エラーの内容によると、我々は直接CMakeCache.txtディレクトリを変更することができます

CMAKE_CXX_FLAGS:STRING=-fPIC # 39 行

その後、我々はワープ-CTCによると説明し、次のコマンドを実行

cd ../pytorch_binding
python setup.py install

この時点で、次のエラーが発生する可能性があります

src/binding.cpp:6:10: fatal error: torch/extension.h: 没有那个文件或目录
 #include <torch/extension.h>
          ^~~~~~~~~~~~~~~~~~~
compilation terminated.
error: command 'x86_64-linux-gnu-gcc' failed with exit status 1

これまでの経験によると、https://github.com/SeanNaren/warp-ctc/issues/101
我々は以前のバージョンに直接切り替えます

git checkout ac045b6

CTPN

テキスト位置の場所、私はこのプロジェクトの借入を指示し、そのトレーニングモデルテキスト検出-ctpnは、
実際にトレーニングの効果をモデル化されていない非常に良いが、私の手は、自分のトレーニングやトレーニングはこの著者をダウンロードする必要があり、データをモデル化しませんでしたデータは、
そう単純に訓練されたモデルデータを直接使用することは、CKPTファイルの2つの方法の著者からダウンロードすることができます

ドライブGOOGL内のディスク
 Baiduのユンへ

ctpnの/へのこのフォルダには、次のコマンドを実行します

cd ctpn/utils/bbox
chmod +x make.sh
./make.sh

PS：あなたが自分でCTPNモデルデータを訓練したい場合は、train.pyファイルctpnフォルダを行うことができます

文字列の配置位置のために、どのテキスト検出-ctpnのみ
とクレジットカードの番号のため、当社の特定の位置、彼らはまだいくつかのカスタム処理を行う必要があり
、私の考えを長さと幅を計算し、すべてのボックスの外に選ばれ、その後、長期に基づいています幅比傍受エリアカードに
もちろん、前提は、この効果は、我々は部分的にカード番号を検出することができましたが、達成される効果はまだかなり良いということです

def get_wh(box_coordinate):
    """
    计算box坐标宽高
    box格式： [xmin, ymin, xmax, ymin, xmax, ymax, xmin, ymax, score]
    """
    xmin = box_coordinate[0]
    xmax = box_coordinate[2]
    ymin = box_coordinate[1]
    ymax = box_coordinate[5]
    width = xmax - xmin
    height = ymax - ymin
    return width, height

つぶやき

この時点で、プロジェクトのルートディレクトリに戻る必要があり、私は単純なデータ処理を得た最初の写真は、
写真のデータ/画像は、lmdbを生成するために必要な形式に変換することを、元の画像データについてです

python crnn/handle_images.py

写真・パスと正しいラベルのテキスト：crnn / to_lmdb / train.txt
治療後の新しいパスを描く：crnn / to_lmdb / train_images

その後、我々は必要なファイルlmdb電車の手に私達のデータを変換する必要があり
、次のコマンドを実行します

python crnn/to_lmdb/to_lmdb_py3.py # python crnn/to_lmdb/to_lmdb_py2.py

生成されたlmdbファイルのディレクトリ：crnn / to_lmdb / lmdb

今回は、特定のデータ我々の手を訓練することができます

python crnn/train.py

保存ディレクトリモデル：crnn / exprの

カスタムパラメータ

このプロジェクトは、カスタムデータディレクトリの様々なを持っているだけでなく、モデルパラメータを訓練することは
、あなたがこれらのパラメータやデータパスを変更したい場合は、次の2つのファイルに行くことができます

ctpn / params.py
雑音/ params.py

パラメータが詳細crnnしたトレーニングモデル

--random_sample      是否使用随机采样器对数据集进行采样, action='store_true'
--keep_ratio         设置图片保持横纵比缩放, action='store_true'
--adam               使用adma优化器, action='store_true'
--adadelta           使用adadelta优化器, action='store_true'
--saveInterval       设置多少次迭代保存一次模型
--valInterval        设置多少次迭代验证一次
--n_test_disp        每次验证显示的个数
--displayInterval    设置多少次迭代显示一次
--experiment         模型保存目录
--alphabet           设置检测分类
--crnn               选择预训练模型
--beta1            
--lr                 学习率
--niter              训练回合数
--nh                 LSTM隐藏层数
--imgW               图片宽度
--imgH               图片高度, default=32
--batchSize          设置batchSize大小, default=64
--workers            工作核数, default=2
--trainroot          训练集路径
--valroot            验证集路径
--cuda               使用GPU, action='store_true'

可視化

トレーニングCRNN終了後、crnnテスト負荷モデルのデフォルトのパスは次のとおりです。crnn / trained_models / crnn_Rec_done.pth
我々は、ディレクトリの名前を変更するためには良いモデルに私たちの訓練を置く必要があると
し、我々はプロジェクトのルートディレクトリに次のコマンドを実行することができます

python run.py

リンクを開くためにブラウザ：http://127.0.0.1:5000

結果は

これは、のローカル反復60回効果で
完全にどのクレジットカードの番号を識別することができ、テストの写真

PS：
参考crnn.pytorch
なぜ私の精度は常に0です

基礎動作環境の構築

warpctc-pytorchの設定

CTPN

つぶやき

カスタムパラメータ

可視化

結果は

おすすめ