基础视觉模型高效调优：Structured Model Probing (SMP)

Structured Model Probing (SMP) 是一种适用于基础模型的下游任务迁移的高效方法，可大幅减少任务迁移模型调优过程中对基础模型的前向、反向传播，从而降低训练开销。

方法描述

传统基于基础模型精调的方法涉及到对基础模型全部参数的更新，大幅增加训练开销；同时，基础模型的预训练数据与下游任务存在域相似度差异，影响不同任务的迁移性能。Structured Model Probing (SMP) 对基础模型进行结构化特征抽取，训练外置小型探针模型，从而节省训练开销；此外，基于结构化特征选择正则与线性探针模型参数度量，自动判断迁移任务难易，并自适应决定非线性探针模型复杂度，从而在域相似度不同的下游任务上均能取得较好效果。基本框架如下图所示：

SMP 框架示意图

• 结构化特征提取：对基础模型特征进行完整的结构化提取，为探针模型提供丰富且多样的特征；
• 结构化正则：对探针模型进行结构化正则，通过结构化特征选择正则控制线性探针模型的复杂度，以判断下游任务难易，并基于此控制非线性模型复杂度。

期望模型使用方式以及适用范围

目前，本仓库所开源的模型提供了以下任务支持：

• 图像分类 Food-101

如何使用

基于 ModelScope 框架，通过调用预定义的 Pipeline 可实现快速调用（目前支持语义分割任务）。

代码示例

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

recognition_pipeline = pipeline(Tasks.image_classification, 'damo/structured_model_probing')
file_name = 'https://vision-ai-public.oss-cn-zhangjiakou.aliyuncs.com/zhifan/SMP/modelscope/image_structured_model_probing_test_image.jpg'
result = recognition_pipeline(file_name)
print(f'recognition output: {result}.')

模型局限性及可能造成的偏差

本模型基于公开的通用数据集训练，且仅适用于训练数据的覆盖类别，在具体应用场景下可能存在偏差。

训练数据介绍

1. Food-101 细粒度食物分类数据集，包含 101 个类别。

数据评估及结果

论文引用

如果你觉得本模型有所帮助，请考虑引用下面的相关论文

@inproceedings{smp2023,
	title = {Structured Model Probing: Empowering Efficient Adaptation by Structured Regularization},
	author = {Zhi-Fan Wu, Chaojie Mao, Xue Wang, Jianwen Jiang, Yiliang Lv, Rong Jin},
	year = {2023},
}