↑

DeepSeek-V2.5:融合通用与代码能力的全新开源模型

DeepSeek|阅读 0
2024/09/05 08:00
原文链接:https://api-docs.deepseek.com/zh-cn/news/news0905
DeepSeek-V2.5开源模型代码生成大语言模型API上线
DeepSeek-V2.5:融合通用与代码能力的全新开源模型
DeepSeek于2024年9月5日发布DeepSeek-V2.5,合并Chat与Coder两大模型能力,在通用对话、代码生成、安全策略等方面全面升级,网页端与API已同步上线,模型权重同步开源至HuggingFace。

声明:文档由AI根据原文生成。

模型合并与核心升级

2024年9月5日,DeepSeek宣布完成DeepSeek-V2-Chat与DeepSeek-Coder-V2两个模型的合并,正式发布DeepSeek-V2.5。新版本保留了原有Chat模型的通用对话能力和Coder模型的代码处理能力,同时在写作任务、指令跟随等方面进行了优化,并进一步对齐了人类偏好。

该模型已在网页端及API全面上线,接口保持向前兼容,用户通过deepseek-coder或deepseek-chat均可访问。Function Calling、FIM补全、Json Output等功能维持不变。

升级路径

此次合并经历了两个关键节点。2024年6月,DeepSeek-V2-Chat以Coder V2的Base模型替换原有Base模型,代码生成与推理能力显著提升,发布DeepSeek-V2-Chat-0628版本。随后,DeepSeek-Coder-V2在Base模型基础上通过对齐优化增强通用能力,推出0724版本。最终两个模型合并为DeepSeek-V2.5。

DeepSeek-V2.5升级历程

由于版本变动较大,DeepSeek建议用户在特定场景效果变差时,重新调整System Prompt和Temperature参数。

通用能力评测

DeepSeek-V2.5在中文和英文四个通用测试集上的成绩均优于DeepSeek-V2-0628和DeepSeek-Coder-V2-0724。

通用能力评测对比

在内部中文评测中,以GPT-4o为裁判,DeepSeek-V2.5对战GPT-4o mini和ChatGPT-4o-latest的胜率较0628版本均有明显提升,评测涵盖创作、问答等通用能力。

对战胜率对比

安全策略方面,DeepSeek-V2.5对安全问题边界做了更清晰划分。内部测试显示,安全综合得分从74.4%提升至82.6%,安全外溢比例从11.3%降至4.6%,即在强化越狱攻击防御的同时,减少了安全策略对正常问题的过度干预。

代码能力保留与优化

DeepSeek-V2.5继承了DeepSeek-Coder-V2-0724的代码能力。在HumanEval Python和LiveCodeBench(2024年1月至2024年9月)测试中均有明显改进;FIM补全任务在内部评测集DS-FIM-Eval上评分提升5.1%。HumanEval Multilingual和Aider测试中0724版本略优,SWE-verified测试则显示两者表现均较低,该方向仍需优化。

代码能力评测

在内部主观评测DS-Arena-Code中,DeepSeek-V2.5对战竞品的胜率(GPT-4o为裁判)取得显著提升。

DS-Arena-Code评测结果

开源与获取

DeepSeek-V2.5模型权重已开源至HuggingFace,地址为https://huggingface.co/deepseek-ai/DeepSeek-V2.5。