大模型微调(Fine-tuning of Large Models)是指在预训练(Pre-training)模型的基础上,使用特定任务的数据对模型进行再训练,使模型适应特定应用场景的需求,本质上就是迁移学习在大模型中的落地方式。
微调和预训练的区别主要在于目标、数据来源和训练方式。
1.预训练通常是在大规模通用数据集上进行训练,让模型学习通用的语言规律或者知识;而微调通常是在特定任务的数据集上进行训练,让模型适应特定的任务。
2.预训练通常采用的是无监督或者自监督学习的方式,而微调通常采用的是监督学习的方式。
微调在自然语言处理中的文本分类、命名实体识别以及计算机视觉中的图像分类、目标检测都有广泛的应用。