文本领域分类-中文

用于中文的文本领域分类。分类依据为国民经济行业分类（GB/T 4754—2017），基本覆盖了国民经济全行业，共支持18个大类行业的分类：交通运输仓储邮政、住宿餐饮、信息软件、农业、制造业、卫生医疗、国际组织、建筑、房地产、政府组织、教育、文体娱乐、水利环境、电力燃气水生产、科学技术、租赁法律、采矿、金融。
每个领域的具体内容，详见《2017年国民经济行业分类（GB/T 4754—2017）》。

模型描述

该模型基于FastText训练，无需GPU即可进行高效推理，训练数据为阿里内部数据，在内部测试集上，18个行业平均分类准确率为63.44%，Top 3命中率（Recall@3）为80.64%。

期望模型使用方式以及适用范围

该模型可用于中文句子级别的领域分类，分类结果可用于模型选择、数据分析等。

如何使用

在安装ModelScope完成后即可使用

代码范例

from modelscope.pipelines import pipeline
p = pipeline('text-classification', model='damo/nlp_domain_classification_chinese')
print(p('通过这种方式产生的离子吸收大地水分之后,可以通过潮解作用,将活性电解离子有效释放到周围土壤中,使接地极成为一个离子发生装置,从而改善周边土质使之达到接地要求。'))

模型局限性以及可能的偏差

通常单个句子的领域信息很难明确，建议作为句子级分类工具，对输出概率在篇章或者段落级聚合，会更为准确

训练数据介绍

源自阿里内部数据

模型训练流程

基于FastText训练

预处理

采用sentencepiece进行分词，并和label进行拼接

spm_encode --model ./sentencepiece.model < train.text > train.sp
paste -d ' ' train.label train.sp > train.input

训练

基于CPU训练即可

fastText/fasttext supervised -dim 256 -wordNgrams 3  -epoch 3 -thread 32 \
        -input train.input \
        -output savedModel

数据评估及结果

模型在内部测试集上的评估结果

平均Recall@K