前言
最近在公司项目中使用到OCR服务，刚开始使用的是百度云上的通用文字识别接口，后来无意中了解到百度开源的飞浆平台的PaddleOCR模块直接有现成的模型可以使用，于是在公司服务器上搭了一个CPU版本OCR识别服务，由于公司服务器性能加上CPU版本问题，性能达不到要求，所以就购买了华为云的GPU服务器部署GPU版本的OCR服务。
如何在华为云服务器上搭建GPU版本的PaddlePaddle环境请参考以下文章： https://blog.csdn.net/loutengyuan/article/details/126527326
安装PaddleOCR
PaddleOCR是百度基于PaddlePaddle开源的OCR文字识别服务，Github地址：https://github.com/PaddlePaddle/PaddleOCR/
安装，输入以下命令，安装好了之后就可以在命令行体验OCR识别服务了
pip install "paddleocr>=2.0." -i https://mirror.baidu.com/pypi/simple
下载一个测试图片体验包：
wget https://paddleocr.bj.bcebos.com/dygraph_v2.1/ppocr_img.zip #下载
unzip ppocr_img.zip #解压
进入刚刚解压的目录，开始体验OCR识别
cd ppocr_img #进入刚才下载解压的图片目录
执行OCR识别
paddleocr --image_dir ./imgs/11.jpg --use_angle_cls true --use_gpu true
执行可能会报错，这里需要安装 两个 lib libX11 和 libXext
yum install -y libX11
yum install -y libXext
这样就是识别出来啦，使用GPU服务器识别超快的
部署OCR识别API服务
部署的话，Paddle 提供了 PaddleHub 和 Paddle Serving 两个方式，使用PaddleHub是最方便的，命令行直接执行就可以了， Paddle Serving 部署的话更稳定，而且支持 c++ 编译部署。
这里讲一下 PaddleHub 和 Paddle Serving python 部署 (推荐还是 Paddle Serving 部署)
PaddleHub 部署 OCR 识别API
安装 PaddleHub
pip install --upgrade paddlehub -i https://mirror.baidu.com/pypi/simple
启动 API 服务
# 前台启动
hub serving start -m ch_pp-ocrv3 --use_gpu #会自动下载OCR模型
# 后台启动
nohup hub serving start -m ch_pp-ocrv3 --use_gpu > log.log 2>&1 &
这样就启动了一个 OCR 识别服务
默认最大使用GPU显存大小是8000M，如果需要修改可以找到
/root/.paddlehub/modules/ch_pp_ocrv3/module.py的_set_config方法，将8000改成你想要的值。
def _set_config(self, pretrained_model_path):
"""
predictor config path
"""
model_file_path = pretrained_model_path + '.pdmodel'
params_file_path = pretrained_model_path + '.pdiparams'
config = paddle_infer.Config(model_file_path, params_file_path)
try:
_places = os.environ["CUDA_VISIBLE_DEVICES"]
int(_places[0])
use_gpu = True
except:
use_gpu = False
if use_gpu:
# 原本最大显存是8000M，这里改成2000M。
config.enable_use_gpu(2000, 0)
# config.enable_use_gpu(8000, 0)
else:
config.disable_gpu()
if self.enable_mkldnn:
# cache 10 different shapes for mkldnn to avoid memory leak
config.set_mkldnn_cache_capacity(10)
config.enable_mkldnn()
config.disable_glog_info()
config.delete_pass("conv_transpose_eltwiseadd_bn_fuse_pass")
config.switch_use_feed_fetch_ops(False)
predictor = paddle_infer.create_predictor(config)
input_names = predictor.get_input_names()
input_handle = predictor.get_input_handle(input_names[0])
output_names = predictor.get_output_names()
output_handles = []
for output_name in output_names:
output_handle = predictor.get_output_handle(output_name)
output_handles.append(output_handle)
return predictor, input_handle, output_handles
查看进程
ps -ef|grep python
关闭进程
kill -9 19913
查看日志
tail -f 1000 log.log
如何查看端口占用
$: netstat -anp | grep 8888
tcp 0 0 127.0.0.1:8888 0.0.0.0:* LISTEN 13404/python3
tcp 0 1 172.17.0.10:34036 115.42.35.84:8888 SYN_SENT 14586/python3
强制杀掉进程：通过pid
$: kill -9 13404
$: kill -9 14586
$: netstat -anp | grep 8888
$:
- Postman测试请求
识别的时候需要把图片转为base64, 然后 json 请求去提交参数
请求地址：http://127.0.0.1:8866/predict/ch_pp-ocrv3
请求方式：json
请求参数：{“images”: [“图片的base64内容，不需前面的base64标识”]}
- Python 测试脚本
import requests
import json
import cv2
import base64
def cv2_to_base64(image):
data = cv2.imencode('.jpg', image)[1]
return base64.b64encode(data.tostring()).decode('utf8')
# 发送HTTP请求
data = {
'images':[cv2_to_base64(cv2.imread("你的图片地址"))]}
headers = {
"Content-type": "application/json"}
url = "http://127.0.0.1:8866/predict/ch_pp-ocrv3"
r = requests.post(url=url, headers=headers, data=json.dumps(data))
# 打印预测结果
print(r.json())
- curl 测试请求
curl --location --request POST 'http://127.0.0.1:8866/predict/ch_pp-ocrv3' \
--header 'Content-Type: application/json' \
--data-raw '{"images":["图片的base64内容，不需前面的base64标识"]}'
结果返回：
{
"msg":[{
"data":[{
"confidence":0.9314630627632141,"text":"(paddle env][root@M-1-2-centos","text_box_position":[[6,10],[231,10],[231,23],[6,23]]},{
"confidence":0.9092367887496948,"text":"ppocr imgl# hub serving start -m chpp-ocrv3 --use_gpu","text_box_position":[[227,10],[612,12],[612,25],[227,23]]},{
"confidence":0.939938485622406,"text":"[2022-05-30 19:49:34 +0800]","text_box_position":[[5,25],[191,25],[191,38],[5,38]]},{
"confidence":0.8236835598945618,"text":"[28320]","text_box_position":[[200,26],[246,26],[246,37],[200,37]]},{
"confidence":0.6653339862823486,"text":"LINFO]","text_box_position":[[256,26],[295,26],[295,37],[256,37]]},{
"confidence":0.842379093170166,"text":"starting gunicorn 2o.1.0","text_box_position":[[301,26],[474,26],[474,38],[301,38]]},{
"confidence":0.939938485622406,"text":"[2022-05-30 19:49:34 +0800]","text_box_position":[[5,40],[191,40],[191,53],[5,53]]},{
"confidence":0.8367705345153809,"text":"[28320]","text_box_position":[[200,41],[247,41],[247,52],[200,52]]},{
"confidence":0.86468505859375,"text":"[INFO]","text_box_position":[[257,41],[297,41],[297,52],[257,52]]},{
"confidence":0.9211856722831726,"text":"Listening at: http://0.0.0.0:8866 (28320)","text_box_position":[[302,40],[589,40],[589,53],[302,53]]},{
"confidence":0.9346868395805359,"text":"[2022-05-3019:49:34+0800]","text_box_position":[[4,55],[191,54],[191,67],[4,68]]},{
"confidence":0.9421297311782837,"text":"[28320]","text_box_position":[[199,55],[247,55],[247,68],[199,68]]},{
"confidence":0.9394086003303528,"text":"[INFO]","text_box_position":[[256,55],[298,55],[298,68],[256,68]]},{
"confidence":0.9321832656860352,"text":"Using worker: sync","text_box_position":[[302,56],[430,56],[430,68],[302,68]]},{
"confidence":0.9334865808486938,"text":"[2022-05-30 19:49:34 +0800]","text_box_position":[[4,70],[191,70],[191,83],[4,83]]},{
"confidence":0.8994974493980408,"text":"[INFO] ","text_box_position":[[256,70],[305,70],[305,84],[256,84]]},{
"confidence":0.8855429887771606,"text":"[28324]","text_box_position":[[200,71],[246,71],[246,82],[200,82]]},{
"confidence":0.9438435435295105,"text":"Booting worker with pid: 28324","text_box_position":[[300,70],[515,69],[515,83],[300,84]]}],"save_path":""}],"results":"","status":"000"}
这样就可以正常使用啦，识别速度的话大概在 100-300ms 左右，挺快的。
官方的部署教程：https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.5/deploy/hubserving/readme.md
通过Paddle Serving 部署OCR识别服务
相比较于hubserving部署，PaddleServing具备以下优点：
- 支持客户端和服务端之间高并发和高效通信
- 支持 工业级的服务能力 例如模型管理，在线加载，在线A/B测试等
- 支持 多种编程语言开发客户端，例如C++, Python和Java
先准备PaddleOCR 环境，这里拉去github代码的话会好慢，可以自己先科学下载，然后上传到服务器
git clone https://github.com/PaddlePaddle/PaddleOCR --depth=1
进入到工作目录
cd PaddleOCR/deploy/pdserving/
安装PaddleServing的运行环境，步骤如下
# 安装serving，用于启动服务
wget https://paddle-serving.bj.bcebos.com/test-dev/whl/paddle_serving_server_gpu-0.8.3.post102-py3-none-any.whl
pip3 install paddle_serving_server_gpu-0.8.3.post102-py3-none-any.whl
# 安装client，用于向服务发送请求
wget https://paddle-serving.bj.bcebos.com/test-dev/whl/paddle_serving_client-0.8.3-cp38-none-any.whl
pip3 install paddle_serving_client-0.8.3-cp38-none-any.whl
# 安装serving-app
wget https://paddle-serving.bj.bcebos.com/test-dev/whl/paddle_serving_app-0.8.3-py3-none-any.whl
pip3 install paddle_serving_app-0.8.3-py3-none-any.whl
- 模型转换
使用PaddleServing做服务化部署时，需要将保存的inference模型转换为serving易于部署的模型。
首先，下载PP-OCR的inference模型
# 下载并解压 OCR 文本检测模型
wget https://paddleocr.bj.bcebos.com/PP-OCRv3/chinese/ch_PP-OCRv3_det_infer.tar -O ch_PP-OCRv3_det_infer.tar && tar -xf ch_PP-OCRv3_det_infer.tar
# 下载并解压 OCR 文本识别模型
wget https://paddleocr.bj.bcebos.com/PP-OCRv3/chinese/ch_PP-OCRv3_rec_infer.tar -O ch_PP-OCRv3_rec_infer.tar && tar -xf ch_PP-OCRv3_rec_infer.tar
接下来，用安装的paddle_serving_client把下载的inference模型转换成易于server部署的模型格式。
# 转换检测模型
python3 -m paddle_serving_client.convert --dirname ./ch_PP-OCRv3_det_infer/ \
--model_filename inference.pdmodel \
--params_filename inference.pdiparams \
--serving_server ./ppocr_det_v3_serving/ \
--serving_client ./ppocr_det_v3_client/
# 转换识别模型
python3 -m paddle_serving_client.convert --dirname ./ch_PP-OCRv3_rec_infer/ \
--model_filename inference.pdmodel \
--params_filename inference.pdiparams \
--serving_server ./ppocr_rec_v3_serving/ \
--serving_client ./ppocr_rec_v3_client/
检测模型转换完成后，会在当前文件夹多出ppocr_det_v3_serving 和ppocr_det_v3_client的文件夹，具备如下格式：
|- ppocr_det_v3_serving/
|- __model__
|- __params__
|- serving_server_conf.prototxt
|- serving_server_conf.stream.prototxt
|- ppocr_det_v3_client
|- serving_client_conf.prototxt
|- serving_client_conf.stream.prototxt
- Paddle Serving pipeline部署
# 启动服务，运行日志保存在log.txt
nohup python3 -u web_service.py > log.log 2>&1 &
运行日志，没有报错的话就是启动成功啦
然后可以使用他提供的client代码去请求测试一下
查看进程
ps -ef|grep python
关闭进程
kill -9 19913
查看日志
tail -f 1000 log.log
如何查看端口占用
$: netstat -anp | grep 8888
tcp 0 0 127.0.0.1:8888 0.0.0.0:* LISTEN 13404/python3
tcp 0 1 172.17.0.10:34036 115.42.35.84:8888 SYN_SENT 14586/python3
强制杀掉进程：通过pid
$: kill -9 13404
$: kill -9 14586
$: netstat -anp | grep 8888
$:
- HTTP请求测试
请求地址：http://127.0.0.1:9998/ocr/prediction
请求方式： json
请求参数：{“key”: “image”, “value”: “图片的base64”}
- curl请求测试
curl --location --request POST 'http://127.0.0.1:9998/ocr/prediction' \
--header 'Content-Type: application/json' \
--data-raw '{"key":"image","value":"图片的base64"}'
返回的数据格式：
{
"err_no": 0,
"err_msg": "",
"key": [
"result"
],
"value": [
"[[('(padde env)［root@M-1-2-centoppocrimghub servingstart -m chpp-ocrv3--usegpu', 0.84638405), [[5.0, 10.0], [611.0, 12.0], [611.0, 24.0], [5.0, 22.0]]], [('[2022-05-3019:49:34+0800][28320】［INF0]Startingqunicorm20.1.', 0.81580645), [[5.0, 25.0], [472.0, 25.0], [472.0, 38.0], [5.0, 37.0]]], [('[2022-05-3019:49:34+0800][28320]［INF0]Listeningat：http://0.0.0.0:8866（28320)', 0.84695405), [[5.0, 40.0], [589.0, 40.0], [589.0, 54.0], [5.0, 54.0]]], [('[2022-05-319:49:34+0800][28320】［INF0]Usingworker:sync', 0.7949861), [[5.0, 54.0], [430.0, 56.0], [430.0, 68.0], [5.0, 66.0]]], [('[2022-05-319:49:34+080】[28324】［INFO】Bootingworkerwith pid:28324', 0.85473406), [[4.0, 70.0], [515.0, 70.0], [515.0, 84.0], [4.0, 84.0]]]]"
],
"tensors": []
}
这样就完成啦，可以正常使用啦，如果提供其他语言调用的话可以查看他们的官方文档
官方的部署教程：https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.5/deploy/pdserving/README_CN.md
结语
部署这个相对还是挺简单的，Paddle 官方的文档也挺齐全，不过一些特殊文字识别的话还是需要自己去定制训练的。