蚂蚁开源代码大模型CodeFuse，面向开发者提升编程效率

2023-09-09 07:48:40 来源：三言科技Pro

(资料图片仅供参考)

三言科技消息，9月8日，外滩大会分论坛上，蚂蚁集团开源了代码大模型CodeFuse。

图片说明：支付宝小程序云技术负责人李铮宣布CodeFuse正式开源

这是蚂蚁自研的代码生成专属大模型，根据开发者的输入提供智能建议和实时支持，帮助开发者自动生成代码、自动增加注释，自动生成测试用例，修复和优化代码等，以提升研发效率。无论用户是初学者还是有经验的开发者，CodeFuse都能够极大地提高编程效率和准确性，让人人可编程、可创新成为现实。

CodeFuse基于蚂蚁基础大模型研发，在近期代码补全的HumanEval评测中，CodeFuse得分74.4%，超过GPT-4 (67%)的成绩，也超过了WizardCoder-34B 73.2%的得分。本次开源内容包括代码框架、模型等，现已上架相关平台，模型可在HuggingFace下载。

代码框架部分包括自研的多任务微调(Multi-task fine-tuning，缩写为MFT)框架。MFT支持代码生成、代码翻译、测试用例生成、bug修复等数10个任务一起微调，它充分利用多任务之间的信息互补，通过创新的loss设计处理不同任务之间收敛难易不均衡的难题，最终取得比单任务微调SFT更好的效果。MFT微调框架支持蚂蚁自研模型，以及多个开源大模型的代码能力微调。同时，框架内含创新的微调数据打包技术，提升微调速度约8倍；并使用多重部署优化技术，使推理加速约2倍。

模型部分包括CodeFuse13B-4K、CodeFuse-CodeLlaMa34B-MFT两个大模型。模型训练过程中，CodeFuse使用了程序分析校验技术，对高质量代码数据进行筛选，并构建了代码领域专用字典，编码平均长度低10%+。

早在2022年1月，蚂蚁集团内部成立了代码智能生成专项，随着公司整体战略的推进，在统一软硬件基础设施支持下，从零到一训练了多个代码大模型，最终基于13B版本，打造了CodeFuse，并在今年6月开始内测，用以真实开发环境，可以助力开发者低门槛编程，例如用自然语言编写H5小游戏、快速开发支付宝小程序等。

基于CodeFuse的应用场景有开发助手、IDE插件、数据分析器等，覆盖了目前研发工作的主要需求，在蚂蚁集团内部研发流程中陆续得到验证。

CodeFuse的目的是重新定义下一代AI研发，提供全生命周期AI辅助工具。蚂蚁集团期望通过开源CodeFuse，和社区一起推进软件工程领域的范式跃迁，重塑软件研发的各个领域，加速各行各业的数字化进程。

据了解，外滩大会上蚂蚁集团还发布了工业级金融大模型，两大应用产品将在完成相关备案工作后上线，包括面向消费者的应用产品—智能金融助理“支小宝2.0”，以及面向金融行业专家的智能业务助手 “支小助1.0”，展示了蚂蚁在大模型领域从技术到行业应用的全面布局和进展。

关键词：