月之暗面宣布开源 Kimi-Dev-72B,这是面向软件工程的代码大模型,并在 SWE-bench 上达到了开源模型中的 SOTA。
Kimi-Dev-72B 的设计理念和技术细节包括 BugFixer 和 TestWriter 的双重角色、中期训练、强化学习以及测试时自博弈。
据介绍,Kimi-Dev-72B 通过大规模强化学习进行优化,能够自主地在 Docker 中修补真实代码库。通过 mid-train,RL,让模型在真实环境中修复代码并通过测试,有效提升了性能。测试显示,Kimi-Dev 在 SWE-bench Verified 上解决了 60.4% 的 issue。
模型现已在 Hugging Face 和 GitHub 开源:
Page: https://moonshotai.github.io/Kimi-Dev/
GitHub: https://github.com/MoonshotAI/Kimi-Dev
HuggingFace: https://huggingface.co/moonshotai/Kimi-Dev-72B