用户满意度估计(User Satisfaction Estimation),又称服务满意度分析(Service Satisfaction Analysis),是分析用户是否对在线服务感到满意的重要任务。通常为输入一段连读的对话,从用户视角评价该段对话的满意度极性(不满意/中立/满意)。该任务对提升对话服务质量有重要意义,与情感分析类似,可用于各种在线客服场景(如电商客服、外呼场景等)。
直接推理,输入对话直接进行推理。模型训练暂未支持,后续接入。
对话长度不超过30轮,若超过则截取最后30轮。
在ModelScope框架上,提供输入的多轮对话内容,通过简单的Pipeline调用来使用满意度分析模型。
注意:一轮对话用“|||”连接用户提问和代理的回复语句,例如“有适合我穿的尺码吗|||稍等,我看下哈”;多轮对话用元组表示,例如3轮对话为(‘Q1|||A1’, ‘Q2|||A2’, ‘Q3|||A3’);对于非人机交互的一问一答场景,允许Q或A为空,即“Q|||”或“A|||”。
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
semantic_cls = pipeline(Tasks.text_classification, 'damo/nlp_user-satisfaction-estimation_chinese', model_revision='v1.0.3')
print(semantic_cls([('返修退换货咨询|||', '手机有质量问题怎么办|||稍等,我看下', '开不开机了|||', '说话|||谢谢哈')]))
推理模型性能:满意度分析模型基于两个中文的客服对话数据集(Clothes+Makeup)训练,得到满意度最优推理结果。
数据集 | #dissatisfied | #neutral | #satisfied | Macro-F1 |
---|---|---|---|---|
Clothes+Makeup | 3,482 | 7,579 | 2,479 | 0.8571 |
论文实验对比:在单独的实验数据集上的Macro-F1效果比较。
对比方法 | 类型 | Macro-F1 (Clothes) | Macro-F1 (Makeup) |
---|---|---|---|
Bert+LSTM | 单任务 | 67.90 | 74.80 |
MILNET | 单任务 | 63.81 | 75.30 |
CAMIL | 单任务 | 70.40 | 78.60 |
MT-ES | 多任务 | 68.04 | 76.06 |
Meta-LSTM | 多任务 | 69.05 | 76.65 |
RSSN | 多任务 | 69.51 | 79.18 |
Ours (Enhanced) | 多任务 | 71.11 | 80.11 |
如果你觉得这个该模型对有所帮助,请考虑引用下面的论文:
@inproceedings{conf/aaai/SongKLLSL23,
author = {Kaisong Song and Yangyang Kang and Jiawei Liu and Xurui Li and Changlong Sun and Xiaozhong Liu},
title = {A Speaker Turn-Aware Multi-Task Adversarial Network for Joint User Satisfaction Estimation and Sentiment Analysis},
booktitle = {Proceedings of the AAAI 2023},
pages = {198--207},
year = {2019}
}
git clone https://www.modelscope.cn/damo/nlp_user-satisfaction-estimation_chinese.git