营口市网站建设_网站建设公司_需求分析_seo优化

第一步构建样本集

需要 无缺陷图像，缺陷图像（大缺陷，小缺陷），

对应缺陷图像的Mask

缺陷图像Mask（大图像Mask，小图像Mask）

要求：对应Mask完整，且路径匹配，不需要无缺陷的Mask

还有就是需要通过jsonl来找图像，需要生成jsonl的地址文件

jsonl代码跳转

Vlm-ClipJsonl代码-CSDN博客

第二步修改添加对应的Constant.py对应目的是添加样本集的缺陷根路径，定义缺陷类别名称，标注场景

Constant.py代码跳转

Vlm-Clip的数据集代码-CSDN博客

第三步OpenAi下载官方的ViT-L-14-336，“挂载” adapter 层（轻量级分支），训练时只更新 adapter 层的参数，CLIP 骨干（ViT-L）的参数完全冻结（不改）—— 这是 Adapter 微调的核心（快、省显存、不破坏预训练特征）。之后训练导出需要的模型.pth

注意！！推理时要同时加载：CLIP 预训练权重 + text_adapter.pth + image_adapter_20.pth，三者结合才能实现缺陷检测 + 热力图。

代码跳转train

Vlm-clip代码训练解析-CSDN博客

之后再通过推理代码获取指定的权重和图像进行训练

代码跳转

Vlm-Clip部署推理脚本-CSDN博客