PPv3-OCR自定义数据从训练到部署

Posted 2022-06-03 AI浩

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了PPv3-OCR自定义数据从训练到部署相关的知识，希望对你有一定的参考价值。

PPv3-OCR自定义数据从训练到部署

一、配置Paddle环境
二、配置PaddleOCR
- 1、安装python包
- 2、测试环境
三模型列表及其对应的配置文件
四、标注工具PPOCRLabel
五、训练检测器
五、训练识别器
六、hubserving部署

最近一段时间使用PaddleOCR做了一个OCR相关的项目，本文记录一下项目的实现过程。由于数据集是公司的真是数据，不方便公开，我从网上搜集了一些数据集，给大家做演示。PaddleOCR用的最新的PaddleOCR-release-2.5，模型用的v3模型。

一、配置Paddle环境

创建虚拟环境

conda create --name pp python=3.7

创建完成后激活环境

conda activate pp

登录飞桨的官网下载最新的paddle，官网地址：飞桨PaddlePaddle-源于产业实践的开源深度学习平台

选择合适的CUDA版本，然后会在下面生成对应的命令。

然后，复制命令即可

conda install paddlepaddle-gpu==2.2.2 cudatoolkit=11.2 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/ -c conda-forge

二、配置PaddleOCR

下载地址：(https://gitee.com/paddlepaddle/PaddleOCR

将其下载到本地，然后解压配置环境。

1、安装python包

1、yaml

pip install pyyaml

2、imgaug

pip install imgaug

3、pyclipper

pip install pyclipper

4、lmdb

pip install lmdb

5、Levenshtein

pip install Levenshtein

6、tqdm

pip install tqdm

2、测试环境

模型简介	模型名称	推荐场景	检测模型	方向分类器	识别模型
中英文超轻量PP-OCRv3模型（16.2M）	ch_PP-OCRv3_xx	移动端&服务器端	推理模型 / 训练模型	推理模型 / 训练模型	推理模型 / 训练模型
英文超轻量PP-OCRv3模型（13.4M）	en_PP-OCRv3_xx	移动端&服务器端	推理模型 / 训练模型	推理模型 / 训练模型	推理模型 / 训练模型
中英文超轻量PP-OCRv2模型（13.0M）	ch_PP-OCRv2_xx	移动端&服务器端	推理模型 / 训练模型	推理模型 / 预训练模型	推理模型 / 训练模型
中英文超轻量PP-OCR mobile模型（9.4M）	ch_ppocr_mobile_v2.0_xx	移动端&服务器端	推理模型 / 预训练模型	推理模型 / 预训练模型	推理模型 / 预训练模型
中英文通用PP-OCR server模型（143.4M）	ch_ppocr_server_v2.0_xx	服务器端	推理模型 / 预训练模型	推理模型 / 预训练模型	推理模型 / 预训练模型

选择上面的一组模型放入到inference文件夹中，注意：是一组，包括：监测模型、方向分类器、识别模型。如下：

PaddleOCR-release-2.5
	└─inference
	   ├─ch_PP-OCRv3_det_infer #检测模型
	   │	 ├─inference.pdiparams
	   │	 ├─inference.pdiparams.info
	   │	 └─inference.pdmodel
	   ├─ch_PP-OCRv3_rec_infer #识别模型
       │	 ├─inference.pdiparams
	   │	 ├─inference.pdiparams.info
	   │	 └─inference.pdmodel
	   └─cls #方向分类器
			 ├─inference.pdiparams
			 ├─inference.pdiparams.info
			 └─inference.pdmodel

将待检测的图片放在./doc/imgs/文件夹下面，然后执行命令：

python tools/infer/predict_system.py --image_dir="./doc/imgs/0.jpg" --det_model_dir="./inference/ch_PP-OCRv3_det_infer/" --cls_model_dir="./inference/cls/" --rec_model_dir="./inference/ch_PP-OCRv3_rec_infer/" --use_angle_cls=true

然后在inference_results文件夹中查看结果，例如：

如果能看到结果就说明环境是ok的。

更多的命令，如下：

# 使用方向分类器
python3 tools/infer/predict_system.py --image_dir="./doc/imgs/00018069.jpg" --det_model_dir="./ch_PP-OCRv3_det_infer/" --cls_model_dir="./cls/" --rec_model_dir="./ch_PP-OCRv3_rec_infer/" --use_angle_cls=true --rec_image_shape=3,48,320
# 不使用方向分类器
python3 tools/infer/predict_system.py --image_dir="./doc/imgs/00018069.jpg" --det_model_dir="./ch_PP-OCRv3_det_infer/" --rec_model_dir="./ch_PP-OCRv3_rec_infer/" --use_angle_cls=false --rec_image_shape=3,48,320
# 使用多进程
python3 tools/infer/predict_system.py --image_dir="./doc/imgs/00018069.jpg" --det_model_dir="./ch_PP-OCRv3_det_infer/" --rec_model_dir="./ch_PP-OCRv3_rec_infer/" --use_angle_cls=false --use_mp=True --total_process_num=6 --rec_image_shape=3,48,320

也可以新建test.py脚本进行测试，系统会自动下载预训练模型，代码如下：

import cv2

from paddleocr import PaddleOCR, draw_ocr

# Paddleocr目前支持的多语言语种可以通过修改lang参数进行切换
# 例如`ch`, `en`, `fr`, `german`, `korean`, `japan`
ocr = PaddleOCR(use_angle_cls=True, lang="ch")  # need to run only once to download and load model into memory
img_path = './doc/imgs_en/img_10.jpg'
result = ocr.ocr(img_path, cls=True)
for line in result:
    print(line)
# 显示结果
from PIL import Image
image = Image.open(img_path).convert('RGB')
boxes = [line[0] for line in result]
txts = [line[1][0] for line in result]
scores = [line[1][1] for line in result]
im_show = draw_ocr(image, boxes, txts, scores, font_path='./fonts/simfang.ttf')
im_show = Image.fromarray(im_show)
im_show.save('result.jpg')

开始运行：

红框的位置显示了详细的配置信息。
查看结果：

ocr.ocr(img_path, cls=True)这个方法不仅支持传入图片的路径，还支持ndarray和list类型。比如传入ndarray

import cv2

from paddleocr import PaddleOCR, draw_ocr

# Paddleocr目前支持的多语言语种可以通过修改lang参数进行切换
# 例如`ch`, `en`, `fr`, `german`, `korean`, `japan`
ocr = PaddleOCR(use_angle_cls=True, lang="ch")  # need to run only once to download and load model into memory
img_path = './doc/imgs_en/img_10.jpg'
# 第一种使用读入图片转为ndarray
from PIL import Image
import numpy as np
img = Image.open(img_path)
img = np.array(img)
result = ocr.ocr(img, cls=True)
# 第二种使用cv2读入图片。
img=cv2.imread(img_path)
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
result = ocr.ocr(img, cls=True)

上面这两种方式都是可以的，大家自行尝试。

三模型列表及其对应的配置文件

1. 文本检测模型

1.1 中文检测模型

模型名称	模型简介	配置文件	推理模型大小	下载地址
ch_PP-OCRv3_det_slim	【最新】slim量化+蒸馏版超轻量模型，支持中英文、多语种文本检测	[ch_PP-OCRv3_det_cml.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/det/ch_PP-OCRv3/ch_PP-OCRv3_det_cml.yml)	1.1M	推理模型 / 训练模型 / nb模型
ch_PP-OCRv3_det	【最新】原始超轻量模型，支持中英文、多语种文本检测	[ch_PP-OCRv3_det_cml.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/det/ch_PP-OCRv3/ch_PP-OCRv3_det_cml.yml)	3.8M	推理模型 / 训练模型
ch_PP-OCRv2_det_slim	slim量化+蒸馏版超轻量模型，支持中英文、多语种文本检测	[ch_PP-OCRv2_det_cml.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/det/ch_PP-OCRv2/ch_PP-OCRv2_det_cml.yml)	3M	推理模型
ch_PP-OCRv2_det	原始超轻量模型，支持中英文、多语种文本检测	[ch_PP-OCRv2_det_cml.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/det/ch_PP-OCRv2/ch_PP-OCRv2_det_cml.yml)	3M	推理模型 / 训练模型
ch_ppocr_mobile_slim_v2.0_det	slim裁剪版超轻量模型，支持中英文、多语种文本检测	[ch_det_mv3_db_v2.0.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/det/ch_ppocr_v2.0/ch_det_mv3_db_v2.0.yml)	2.6M	推理模型
ch_ppocr_mobile_v2.0_det	原始超轻量模型，支持中英文、多语种文本检测	[ch_det_mv3_db_v2.0.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/det/ch_ppocr_v2.0/ch_det_mv3_db_v2.0.yml)	3M	推理模型 / 训练模型
ch_ppocr_server_v2.0_det	通用模型，支持中英文、多语种文本检测，比超轻量模型更大，但效果更好	[ch_det_res18_db_v2.0.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/det/ch_ppocr_v2.0/ch_det_res18_db_v2.0.yml)	47M	推理模型 / 训练模型

1.2 英文检测模型

模型名称	模型简介	配置文件	推理模型大小	下载地址
en_PP-OCRv3_det_slim	【最新】slim量化版超轻量模型，支持英文、数字检测	[ch_PP-OCRv3_det_cml.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/det/ch_PP-OCRv3/ch_PP-OCRv3_det_cml.yml)	1.1M	推理模型 / 训练模型 / nb模型
en_PP-OCRv3_det	【最新】原始超轻量模型，支持英文、数字检测	[ch_PP-OCRv3_det_cml.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/det/ch_PP-OCRv3/ch_PP-OCRv3_det_cml.yml)	3.8M	推理模型 / 训练模型

注：英文检测模型与中文检测模型结构完全相同，只有训练数据不同，在此仅提供相同的配置文件。

1.3 多语言检测模型

模型名称	模型简介	配置文件	推理模型大小	下载地址
ml_PP-OCRv3_det_slim	【最新】slim量化版超轻量模型，支持多语言检测	[ch_PP-OCRv3_det_cml.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/det/ch_PP-OCRv3/ch_PP-OCRv3_det_cml.yml)	1.1M	推理模型 / 训练模型 / nb模型
ml_PP-OCRv3_det	【最新】原始超轻量模型，支持多语言检测	[ch_PP-OCRv3_det_cml.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/det/ch_PP-OCRv3/ch_PP-OCRv3_det_cml.yml)	3.8M	推理模型 / 训练模型

注：多语言检测模型与中文检测模型结构完全相同，只有训练数据不同，在此仅提供相同的配置文件。

2. 文本识别模型

2.1 中文识别模型

模型名称	模型简介	配置文件	推理模型大小	下载地址
ch_PP-OCRv3_rec_slim	【最新】slim量化版超轻量模型，支持中英文、数字识别	[ch_PP-OCRv3_rec_distillation.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/rec/PP-OCRv3/ch_PP-OCRv3_rec_distillation.yml)	4.9M	推理模型 / 训练模型 / nb模型
ch_PP-OCRv3_rec	【最新】原始超轻量模型，支持中英文、数字识别	[ch_PP-OCRv3_rec_distillation.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/rec/PP-OCRv3/ch_PP-OCRv3_rec_distillation.yml)	12.4M	推理模型 / 训练模型
ch_PP-OCRv2_rec_slim	slim量化版超轻量模型，支持中英文、数字识别	[ch_PP-OCRv2_rec.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/rec/ch_PP-OCRv2/ch_PP-OCRv2_rec.yml)	9M	推理模型 / 训练模型
ch_PP-OCRv2_rec	原始超轻量模型，支持中英文、数字识别	[ch_PP-OCRv2_rec_distillation.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/rec/ch_PP-OCRv2/ch_PP-OCRv2_rec_distillation.yml)	8.5M	推理模型 / 训练模型
ch_ppocr_mobile_slim_v2.0_rec	slim裁剪量化版超轻量模型，支持中英文、数字识别	[rec_chinese_lite_train_v2.0.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/rec/ch_ppocr_v2.0/rec_chinese_lite_train_v2.0.yml)	6M	推理模型 / 训练模型
ch_ppocr_mobile_v2.0_rec	原始超轻量模型，支持中英文、数字识别	[rec_chinese_lite_train_v2.0.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/rec/ch_ppocr_v2.0/rec_chinese_lite_train_v2.0.yml)	5.2M	推理模型 / 训练模型 / 预训练模型
ch_ppocr_server_v2.0_rec	通用模型，支持中英文、数字识别	[rec_chinese_common_train_v2.0.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/rec/ch_ppocr_v2.0/rec_chinese_common_train_v2.0.yml)	94.8M	推理模型 / 训练模型 / 预训练模型

说明： 训练模型是基于预训练模型在真实数据与竖排合成文本数据上finetune得到的模型，在真实应用场景中有着更好的表现，预训练模型则是直接基于全量真实数据与合成数据训练得到，更适合用于在自己的数据集上finetune。

2.2 英文识别模型

模型名称	模型简介	配置文件	推理模型大小	下载地址
en_PP-OCRv3_rec_slim	【最新】slim量化版超轻量模型，支持英文、数字识别	[en_PP-OCRv3_rec.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/rec/PP-OCRv3/en_PP-OCRv3_rec.yml)	3.2M	推理模型 / 训练模型 / nb模型
en_PP-OCRv3_rec	【最新】原始超轻量模型，支持英文、数字识别	[en_PP-OCRv3_rec.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/rec/PP-OCRv3/en_PP-OCRv3_rec.yml)	9.6M	推理模型 / 训练模型
en_number_mobile_slim_v2.0_rec	slim裁剪量化版超轻量模型，支持英文、数字识别	[rec_en_number_lite_train.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/rec/multi_language/rec_en_number_lite_train.yml)	2.7M	推理模型 / 训练模型
en_number_mobile_v2.0_rec	原始超轻量模型，支持英文、数字识别	[rec_en_number_lite_train.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/rec/multi_language/rec_en_number_lite_train.yml)	2.6M	推理模型 / 训练模型

2.3 多语言识别模型（更多语言持续更新中…）

模型名称	字典文件	模型简介	配置文件	推理模型大小	下载地址
korean_PP-OCRv3_rec	ppocr/utils/dict/korean_dict.txt	韩文识别	[korean_PP-OCRv3_rec.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/rec/PP-OCRv3/multi_language/korean_PP-OCRv3_rec.yml)	11M	推理模型 / 训练模型
japan_PP-OCRv3_rec	ppocr/utils/dict/japan_dict.txt	日文识别	[japan_PP-OCRv3_rec.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/rec/PP-OCRv3/multi_language/japan_PP-OCRv3_rec.yml)	11M	推理模型 / 训练模型
chinese_cht_PP-OCRv3_rec	ppocr/utils/dict/chinese_cht_dict.txt	中文繁体识别	[chinese_cht_PP-OCRv3_rec.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/rec/PP-OCRv3/multi_language/chinese_cht_PP-OCRv3_rec.yml)	12M	推理模型 / 训练模型
te_PP-OCRv3_rec	ppocr/utils/dict/te_dict.txt	泰卢固文识别	[te_PP-OCRv3_rec.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/rec/PP-OCRv3/multi_language/te_PP-OCRv3_rec.yml)	9.6M	推理模型 / 训练模型
ka_PP-OCRv3_rec	ppocr/utils/dict/ka_dict.txt	卡纳达文识别	[ka_PP-OCRv3_rec.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/rec/PP-OCRv3/multi_language/ka_PP-OCRv3_rec.yml)	9.9M	推理模型 / 训练模型
ta_PP-OCRv3_rec	ppocr/utils/dict/ta_dict.txt	泰米尔文识别	[ta_PP-OCRv3_rec.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/rec/PP-OCRv3/multi_language/ta_PP-OCRv3_rec.yml)	9.6M	推理模型 / 训练模型
latin_PP-OCRv3_rec	ppocr/utils/dict/latin_dict.txt	拉丁文识别	[latin_PP-OCRv3_rec.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/rec/PP-OCRv3/multi_language/latin_PP-OCRv3_rec.yml)	9.7M	推理模型 / 训练模型
arabic_PP-OCRv3_rec	ppocr/utils/dict/arabic_dict.txt	阿拉伯字母	[arabic_PP-OCRv3_rec.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/rec/PP-OCRv3/multi_language/rec_arabic_lite_train.yml)	9.6M	推理模型 / 训练模型
cyrillic_PP-OCRv3_rec	ppocr/utils/dict/cyrillic_dict.txt	斯拉夫字母	[cyrillic_PP-OCRv3_rec.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/rec/PP-OCRv3/multi_language/cyrillic_PP-OCRv3_rec.yml)	9.6M	推理模型 / 训练模型
devanagari_PP-OCRv3_rec	ppocr/utils/dict/devanagari_dict.txt	梵文字母	[devanagari_PP-OCRv3_rec.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/rec/PP-OCRv3/multi_language/devanagari_PP-OCRv3_rec.yml)	9.9M	推理模型 / 训练模型

查看完整语种列表与使用教程请参考: [多语言模型](file:/D:/cv/PaddleOCR-release-2.5/doc/doc_ch/multi_languages.md)

3. 文本方向分类模型

模型名称	模型简介	配置文件	推理模型大小	下载地址
ch_ppocr_mobile_slim_v2.0_cls	slim量化版模型，对检测到的文本行文字角度分类	[cls_mv3.yml](file:/D:/cv/PaddleOCR-release-2.5/configs/cls/cls_mv3.yml)	2.1M	推理模型 / 训练模型 / nb模型
ch_ppocr_mobile_v2.0_cls	原始分类器模型，对检测到的文本行文字角度分类

四、标注工具PPOCRLabel

PPOCRLabel是一款适用于OCR领域的半自动化图形标注工具，内置PP-OCR模型对数据自动标注和重新识别。使用Python3和PyQT5编写，支持矩形框标注和四点标注模式，导出格式可直接用于PaddleOCR检测和识别模型的训练。

由于PaddleOCR已经包含PPOCRLabel，可以直接运行，命令如下：

cd ./PPOCRLabel  # 切换到PPOCRLabel目录
python PPOCRLabel.py --lang ch

点击自动标注后就能看到自动标注的结果，用户根据自己的需求微调和修改，非常简单。
如果标注的结果和自己预想的差别比较大，可以在标注一定量的数据集后，使用标注的数据集训练出来一个模型，用来替换官方的模型。模型位置：

上图是我的模型的位置，大家可以试着找找自己模型的位置。
更多的方式和注意事项，详见下面

1. 安装与运行

1.1 安装PaddlePaddle

pip3 install --upgrade pip

# 如果您的机器安装的是CUDA9或CUDA10，请运行以下命令安装
python3 -m pip install paddlepaddle-gpu -i https://mirror.baidu.com/pypi/simple

# 如果您的机器是CPU，请运行以下命令安装
python3 -m pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple

更多的版本需求，请参照安装文档中的说明进行操作。

1.2 安装与运行PPOCRLabel

PPOCRLabel可通过whl包与Python脚本两种方式启动，whl包形式启动更加方便，python脚本启动便于二次开发

1.2.1 通过whl包安装与运行

Windows

pip install PPOCRLabel  # 安装
PPOCRLabel --lang ch  # 运行

注意：通过whl包安装PPOCRLabel会自动下载 paddleocr whl包，其中shapely依赖可能会出现 [winRrror 126] 找不到指定模块的问题。 的错误，建议从这里下载并安装

Ubuntu Linux

pip3 install PPOCRLabel
pip3 install trash-cli
PPOCRLabel --lang ch

MacOS

pip3 install PPOCRLabel
pip3 install opencv-contrib-python-headless==4.2.0.32 # 如果下载过慢请添加"-i https://mirror.baidu.com/pypi/simple"
PPOCRLabel --lang ch # 启动

如果上述安装出现问题，可以参考3.6节错误提示

1.2.2 本地构建whl包并安装

cd PaddleOCR/PPOCRLabel
python3 setup.py bdist_wheel 
pip3 install dist/PPOCRLabel-1.0.2-py2.py3-none-any.whl -i https://mirror.baidu.com/pypi/simple

1.2.3 通过Python脚本运行PPOCRLabel

如果您对PPOCRLabel文件有所更改，通过Python脚本运行会更加方面的看到更改的结果

cd ./PPOCRLabel  # 切换到PPOCRLabel目录
python PPOCRLabel.py --lang ch

2. 使用

2.1 操作步骤

安装与运行：使用上述命令安装与运行程序。
打开文件夹：在菜单栏点击 “文件” - “打开目录” 选择待标记图片的文件夹[1].
自动标注：点击 ”自动标注“，使用PPOCR超轻量模型对图片文件名前图片状态[2]为 “X” 的图片进行自动标注。
手动标注：点击 “矩形标注”（推荐直接在英文模式下点击键盘中的 “W”)，用户可对当前图片中模型未检出的部分进行手动绘制标记框。点击键盘Q，则使用四点标注模式（或点击“编辑” - “四点标注”），用户依次点击4个点后，双击左键表示标注完成。
标记框绘制完成后，用户点击 “确认”，检测框会先被预分配一个 “待识别” 标签。
重新识别：将图片中的所有检测画绘制/调整完成后，点击 “重新识别”，PPOCR模型会对当前图片中的所有检测框重新识别[3]。
内容更改：双击识别结果，对不准确的识别结果进行手动更改。
确认标记：点击 “确认”，图片状态切换为 “√”，跳转至下一张。
删除：点击 “删除图像”，图片将会被删除至回收站。
导出结果：用户可以通过菜单中“文件-导出标记结果”手动导出，同时也可以点击“文件 - 自动导出标记结果”开启自动导出。手动确认过的标记将会被存放在所打开图片文件夹下的Label.txt中。在菜单栏点击 “文件” - "导出识别结果"后，会将此类图片的识别训练数据保存在crop_img文件夹下，识别标签保存在rec_gt.txt中[4]。

2.2 注意

[1] PPOCRLabel以文件夹为基本标记单位，打开待标记的图片文件夹后，不会在窗口栏中显示图片，而是在点击 “选择文件夹” 之后直接将文件夹下的图片导入到程序中。

[2] 图片状态表示本张图片用户是否手动保存过，未手动保存过即为 “X”，手动保存过为 “√”。点击 “自动标注”按钮后，PPOCRLabel不会对状态为 “√” 的图片重新标注。

[3] 点击“重新识别”后，模型会对图片中的识别结果进行覆盖。因此如果在此之前手动更改过识别结果，有可能在重新识别后产生变动。

[4] PPOCRLabel产生的文件放置于标记图片文件夹下，包括一下几种，请勿手动更改其中内容，否则会引起程序出现异常。

文件名	说明
Label.txt	检测标签，可直接用于PPOCR检测模型训练。用户每确认5张检测结果后，程序会进行自动写入。当用户关闭应用程序或切换文件路径后同样会进行写入。
fileState.txt	图片状态标记文件，保存当前文件夹下已经被用户手动确认过的图片名称。
Cache.cach	缓存文件，保存模型自动识别的结果。
rec_gt.txt	识别标签。可直接用于PPOCR识别模型训练。需用户手动点击菜单栏“文件” - "导出识别结果"后产生。
crop_img	识别数据。按照检测框切割后的图片。与rec_gt.txt同时产生。

3. 说明

3.1 快捷键

快捷键	说明
Ctrl + shift + R	对当前图片的所有标记重新识别
W	新建矩形框
Q	新建四点框
Ctrl + E	编辑所选框标签
Ctrl + R	重新识别所选标记
Ctrl + C	复制并粘贴选中的标记框
Ctrl + 鼠标左键	多选标记框
Backspace	删除所选框
Ctrl + V	确认本张图片标记
Ctrl + Shift + d	删除本张图片
D	下一张图片
A	上一张图片
Ctrl++	缩小
Ctrl–	放大
↑→↓←	移动标记框

3.2 内置模型

默认模型：PPOCRLabel默认使用PaddleOCR中的中英文超轻量OCR模型，支持中英文与数字识别，多种语言检测。
模型语言切换：用户可通过菜单栏中 “PaddleOCR” - “选择模型” 切换内置模型语言，目前支持的语言包括法文、德文、韩文、日文。具体模型下载链接可参考PaddleOCR模型列表.
自定义模型：如果用户想将内置模型更换为自己的推理模型，可根据自定义模型代码使用，通过修改PPOCRLabel.py中针对PaddleOCR类的实例化，通过修改PPOCRLabel.py中针对PaddleOCR类的实例化) 实现，例如指定检测模型：self.ocr = PaddleOCR(det=True, cls=True, use_gpu=gpu, lang=lang)，在 det_model_dir 中传入自己的模型即可。

3.3 导出标记结果

PPOCRLabel支持三种导出方式：

自动导出：点击“文件 - 自动导出标记结果”后，用户每确认过一张图片，程序自动将标记结果写入Label.txt中。若未开启此选项，则检测到用户手动确认过5张图片后进行自动导出。

默认情况下自动导出功能为关闭状态
手动导出：点击“文件 - 导出标记结果”手动导出标记。
关闭应用程序导出

3.4 导出部分识别结果

针对部分难以识别的数据，通过在识别结果的复选框中取消勾选相应的标记，其识别结果不会被导出。被取消勾选的识别结果在标记文件 label.txt 中的 difficult 变量保存为 True 。

注意：识别结果中的复选框状态仍需用户手动点击确认后才能保留

3.5 数据集划分

在终端中输入以下命令执行数据集划分脚本：

cd ./PPOCRLabel # 将目录切换到PPOCRLabel文件夹下
python gen_ocr_train_val_test.py --trainValTestRatio 6:2:2 --datasetRootPath ../train_data

参数说明：

trainValTestRatio 是训练集、验证集、测试集的图像数量划分比例，根据实际情况设定，默认是6:2:2

datasetRootPath 是PPOCRLabel标注的完整数据集存放路径。默认路径是 PaddleOCR/train_data 分割数据集前应有如下结构：

|-train_data
  |-crop_img
    |- word_001_crop_0.png
    |- word_002_crop_0.jpg
    |- word_003_crop_0.jpg
    | ...
  | Label.txt
  | rec_gt.txt
  |- word_001.png
  |- word_002.jpg
  |- word_003.jpg
  | ...

3.6 错误提示

如果同时使用whl包安装了paddleocr，其优先级大于通过paddleocr.py调用PaddleOCR类，whl包未更新时会导致程序异常。
PPOCRLabel不支持对中文文件名的图片进行自动标注。
针对Linux用户：如果您在打开软件过程中出现**objc[XXXXX]**开头的错误，证明您的opencv版本太高，建议安装4.2版本：
```
pip install opencv-python==4.2.0.32
```
如果出现 Missing string id 开头的错误，需要重新编译资源：
```
pyrcc5 -o libs/resources.py resources.qrc
```
如果出现module 'cv2' has no attribute 'INTER_NEAREST'错误，需要首先删除所有opencv相关包，然后重新安装4.2.0.32版本的headless opencv
```
pip install opencv-contrib-python-headless==4.2.0.32
```

五、训练检测器

1、制作数据集

完成数据的标注就可以看是训练检测器了。找到Lable.txt,将其中一部分放到train_label.txt ，将一部分放到test_label.txt，将图片放到ppocr（这个文件夹的名字和标注时的图片文件夹的名字一致），如下：

PaddleOCR-release-2.5/train_data/icdar2015/text_localization/
  └─ ppocr/         图片存放的位置
  └─ train_label.txt    icdar数据集的训练标注
  └─ test_label.txt     icdar数据集的测试标注

自定义切分数据集代码。我在这里没有使用官方给的切分方式，是自定义的切分方式。

import os
import shutil
from sklearn.model_selection import train_test_split


label_txt='./ppocr/Label.txt' #标注数据的路径
if not os.path.exists('tmp'):
    os.makedirs('tmp')
with open(label_txt, 'r') as f:
   txt_List=f.readlines()
   trainval_files, val_files = train_test_split(txt_List, test_size=0.1, random_state=42)
   print(trainval_files)
   f = open("train_label.txt", "w")
   f.writelines(trainval_files)
   f.close()
   f = open("test_label.txt", "w")
   f.writelines(val_files)
   f.close()
   for txt in txt_List:
       image_name=txt.split('\\t')[0]
       new_path="./tmp/"+image_name.split('/')[1]
       shutil.move(image_name, new_path)
       print(image_name)

如果路径不存在，请手动创建。执行完成后将tmp文件夹里面的图片放到PaddleOCR-release-2.5/train_data/icdar2015/text_localization/ppocr/文件夹下面。如果不存在则自己创建。

2、下载预训练模型

然后下载预训练模型，将其放到pretrain_models文件夹中，命令如下：

# 根据backbone的不同选择下载对应的预训练模型
# 下载MobileNetV3的预训练模型
wget -P ./pretrain_models/ https://paddleocr.bj.bcebos.com/pretrained/MobileNetV3_large_x0_5_pretrained.pdparams
# 或，下载ResNet18_vd的预训练模型
wget -P ./pretrain_models/ https://paddleocr.bj.bcebos.com/pretrained/ResNet18_vd_pretrained.pdparams
# 或，下载ResNet50_vd的预训练模型
wget -P ./pretrain_models/ https://paddleocr.bj.bcebos.com/pretrained/ResNet50_vd_ssld_pretrained.pdparams

不同的预训练模型对应不同的配置文件，详见第3节。
这次我选用如下图的配置：

3、修改配置文件

然后修改该config文件，路径： configs/det/ch_PP-OCRv3/ch_PP-OCRv3_det_cml.yml，打开文件对里面的参数进行修改该。

按照自己定义的路径，修改训练集的路径。

按照自己定义的路径，修改验证集的路径。

Azure Neural TTS 持续上新，助力企业开拓小语种市场

图像分类实战：mobilenetv2从训练到TensorRT部署（pytorch）

使用大于 RAM 的数据集训练 Spacy 模型

社区说 | 使用 TensorFlow Lite 构建和部署自定义对象检测模型

Laravel：如何从自定义 UserProvider 返回更多数据？

PPv3-OCR自定义数据从训练到部署

PPv3-OCR自定义数据从训练到部署

一、配置Paddle环境

二、配置PaddleOCR

1、安装python包

2、测试环境

三 模型列表及其对应的配置文件

1. 文本检测模型

1.1 中文检测模型

1.2 英文检测模型

1.3 多语言检测模型

2. 文本识别模型

2.1 中文识别模型

2.2 英文识别模型

2.3 多语言识别模型（更多语言持续更新中…）

3. 文本方向分类模型

四、标注工具PPOCRLabel

1. 安装与运行

1.1 安装PaddlePaddle

1.2 安装与运行PPOCRLabel

1.2.1 通过whl包安装与运行

Windows

Ubuntu Linux

MacOS

1.2.2 本地构建whl包并安装

1.2.3 通过Python脚本运行PPOCRLabel

2. 使用

2.1 操作步骤

2.2 注意

3. 说明

3.1 快捷键

3.2 内置模型

3.3 导出标记结果

3.4 导出部分识别结果

3.5 数据集划分

3.6 错误提示

五、训练检测器

1、制作数据集

2、下载预训练模型

3、修改配置文件

三模型列表及其对应的配置文件