特征与多模态 / 34

CLIP

图文对齐多模态模型

CLIP通过大规模图文对比学习把图像和文本映射到同一向量空间，可直接根据文本类别完成零样本分类、语义检索和开放词汇数据筛选。代表性参数规模为约 102M–428M（RN50 至 ViT-L/14 常见配置），性能定位是零样本语义迁移强，细粒度工业判定需适配。

PARAMETERS

参考参数与输入输出

代表性参数量约 102M–428M（RN50 至 ViT-L/14 常见配置）

输入图像与自然语言文本候选

输出归一化图像/文本向量及相似度

算力与部署GPU 推荐；可预计算图像或文本向量

参数量是公开代表性配置或合理范围，不同骨干、类别数、输入尺寸和实现版本会改变结果；详细实施时以选定配置导出的模型信息为准。

PERFORMANCE

零样本语义迁移强，细粒度工业判定需适配。文本交互能力优于 DINOv2，但纯视觉细节和领域稳定性可能较弱。网站不使用脱离条件的单一 FPS 或 mAP 数字作为承诺，因为数据集、输入尺寸、精度模式、批量大小、GPU 型号和后处理口径都会显著改变测试结果。

CHARACTERISTICS & USE CASES

MODEL COMPARISON

模型	参考参数规模	速度	精度定位	部署	优先场景
DINOv2	约 22M/86M/300M/1.1B（S/B/L/G）	中	表征很高	较成熟	相似图检索
CLIP当前	约 102M–428M（RN50 至 ViT-L/14 常见配置）	中	语义泛化高	较成熟	文本搜图
OpenCLIP	约 60M 至数十亿（随骨干而变）	中	语义泛化高	一般	私有化图文检索

表中“速度、精度、部署”为同类别内的定性定位，用于缩小候选范围，不替代同一测试集、同一硬件和同一精度模式下的实测。

SELECTION SUMMARY

CLIP适合优先考虑文本搜图、零样本分类、开放词汇数据清洗的项目。它的主要价值是自然语言可直接充当类别描述；需要重点评估工业细粒度缺陷与专业术语可能不在预训练分布、提示词、语言和阈值会显著影响结果。

建议先用企业真实数据建立基线，再统一测试准确率、召回率、误检率、单张延迟、峰值显存和导出兼容性，最后确定模型规模与部署方式。