读光文字检测

News

• 2023年6月：
  • 新增轻量化端侧行检测模型和行识别模型
• 2023年3月：
  • 新增DBNet训练/微调流程，支持自定义参数及数据集，详见代码示例。
• 2023年2月：
  • 新增业界主流DBNet-通用场景模型。

传送门

各场景文本检测模型：

• SegLink+±通用场景行检测
• SegLink+±通用场景单词检测
• DBNet-通用场景行检测

各场景文本识别模型：

• ConvNextViT-手写场景
• ConvNextViT-手写场景
• ConvNextViT-文档印刷场景
• ConvNextViT-自然场景
• ConvNextViT-车牌场景
• CRNN-通用场景

整图OCR能力：

• 整图OCR-多场景

轻量化模型DEMO：

• IOS推理demo

欢迎使用！

模型描述

本模型是基于分割的文字检测方法，把文字行的区域分割文字中心区域和文字边界区域，通过处理得到文字完整区域，最后得到文字区域的外接框。详见：DBNet(Paper)
本模型基于proxyless进行nas搜索得到5M backbone，模型集成中。

期望模型使用方式以及适用范围

本模型主要用于给输入图片输出图中文字外接框坐标，具体地，模型输出的框的坐标为文字框四边形的四个角点的坐标，左上角为第一个点，按照顺时针的顺序依次输出各个点的坐标，分别为(x1,y1)(x2,y2)(x3,y3)(x4,y4)。用户可以自行尝试各种输入图片。具体调用方式请参考代码示例。

如何使用

在安装完成ModelScope之后即可使用ocr-detection的能力。

预处理和后处理

测试时的主要预处理和后处理如下：

• Resize Pad（预处理）: 输入图片短边resize到736，短边等比例缩放，并且补pad到长短边相等
• threshold后处理）: thresh和box_thresh采用0.2和0.3值

代码范例

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
ocr_detection = pipeline(Tasks.ocr_detection, model='damo/cv_proxylessnas_ocr-detection-db-line-level_damo')
result = ocr_detection('https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/ocr_detection.jpg')
print(result)

完整OCR能力体验

如果想体验完整的OCR能力，对整图中的文字进行检测识别，可以体验创空间应用。对于文字检测模型和文字识别模型的串联，可以参考说明文档。

模型局限性以及可能的偏差

• 模型是在特定中英文数据集上训练的，在其他场景和语言的数据上有可能产生一定偏差，请用户自行评测后决定如何使用。
• 当前版本在python3.7环境CPU和单GPU环境测试通过，其他环境下可用性待测试

引用

 @inproceedings{liao2020real,
  author={Liao, Minghui and Wan, Zhaoyi and Yao, Cong and Chen, Kai and Bai, Xiang},
  title={Real-time Scene Text Detection with Differentiable Binarization},
  booktitle={Proc. AAAI},
  year={2020}
}
@inproceedings{
  cai2018proxylessnas,
  title={Proxyless{NAS}: Direct Neural Architecture Search on Target Task and Hardware},
  author={Han Cai and Ligeng Zhu and Song Han},
  booktitle={International Conference on Learning Representations},
  year={2019},
  url={https://arxiv.org/pdf/1812.00332.pdf},
}