ServiceNow AI实验室近日发布了150亿参数的多模态推理模型Apriel-1.5-15b-Thinker,该模型在多项关键基准测试中展现出与百亿甚至千亿级参数大模型相媲美的推理能力,同时保持了极高的部署效率。
【免费下载链接】Apriel-1.5-15b-Thinker项目地址: https://ai.gitcode.com/hf_mirrors/ServiceNow-AI/Apriel-1.5-15b-Thinker
近年来,大语言模型领域呈现出"参数竞赛"的趋势,从百亿到千亿再到万亿参数规模,模型能力提升的同时也带来了部署成本高、能耗大、响应速度慢等问题。企业级应用场景中,对模型的效率、成本和部署灵活性提出了更高要求,轻量化、高性能的中小模型正成为行业新的发展方向。据行业研究显示,2024年参数规模在10B-30B区间的模型部署需求同比增长超过200%,反映出市场对"够用就好"的高效模型的迫切需求。
Apriel-1.5-15b-Thinker作为ServiceNow Apriel系列的第二代推理模型,通过创新的"中期训练"(Mid training)方法实现了性能突破。该模型在仅150亿参数规模下,在Artificial Analysis指数中达到52分,与Deepseek R1 0528、Gemini-Flash等知名模型处于同一水平,而这些对比模型的参数规模普遍是Apriel-1.5的10倍以上。尤为值得注意的是,该模型在企业级应用关键基准测试中表现突出,Tau2 Bench Telecom得分68分,IFBench得分62分,展现出强大的行业适配能力。
模型的核心创新在于其独特的训练策略。研发团队采用"持续预训练+监督微调"(CPT and SFT)的二段式训练方法,未使用强化学习(RL)却实现了推理能力的跃升。在持续预训练阶段,模型在精心筛选的数学推理、编码挑战、科学论述、逻辑谜题等文本数据以及多模态数据上进行训练,奠定了坚实的推理基础;监督微调阶段则使用超过200万条高质量文本样本进行优化,涵盖数学科学问题解决、编码任务、指令遵循等多个维度。这种训练范式使得模型在仅使用640张H100 GPU训练7天的情况下,就达到了令人瞩目的性能水平。
作为一个多模态模型,Apriel-1.5-15b-Thinker不仅支持文本推理,还具备图像理解能力,能够处理图文混合输入。尽管未进行专门的图像监督微调,但通过跨模态迁移学习,模型依然展现出与专业视觉语言模型相当的图像推理性能。该模型默认会进行深度推理,即使对于简单查询也会分配额外的内部计算资源以提高准确性和鲁棒性,这使得其响应质量显著提升,同时保持了合理的响应速度。
Apriel-1.5-15b-Thinker的出现为大语言模型的发展提供了新的思路。在资源有限的条件下,通过精准的数据选择、创新的训练方法和合理的模型设计,小模型完全可以达到与大模型相当的特定能力。这种"小而美"的模型路线不仅大幅降低了计算资源消耗,还使得模型能够在单GPU上高效运行,极大降低了企业级部署的门槛。对于代码辅助生成、逻辑推理、复杂指令遵循、函数调用等企业核心应用场景,该模型展现出巨大的应用潜力。
当然,模型也存在一定局限性,包括事实准确性需要验证、可能存在训练数据中的偏见、在非英语语言上的表现有待提升等。研发团队明确指出,该模型不适用于安全关键型应用或需要保证事实准确性的场景,除非有人类监督。
随着Apriel-1.5-15b-Thinker的发布,我们看到大语言模型正在从单纯的参数规模竞争转向效率与性能的平衡。这种"小模型、大能力"的发展方向,不仅符合绿色AI的行业趋势,也为AI技术的普及化应用铺平了道路。未来,随着训练方法的不断优化和部署效率的进一步提升,我们有理由相信,中小规模模型将在更多企业级应用场景中取代大型模型,成为AI落地的主力军。
【免费下载链接】Apriel-1.5-15b-Thinker项目地址: https://ai.gitcode.com/hf_mirrors/ServiceNow-AI/Apriel-1.5-15b-Thinker
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考