北大推出“最强编程助手”：代码大模型 CodeShell-7B 开源
10 月 19 日消息，北京大学软件工程国家工程研究中心知识计算实验室联合四川天府银行 AI 实验室，今天正式开源旗下 70 亿参数的代码大模型 CodeShell，号称“同等规模最强代码基座”。
官方已经在 GitHub 开源了模型、相关配套方案及 IDE 插件，支持商用。有兴趣的可以在此前往。
项目详情中介绍，CodeShell-7B 基于 5000 亿 Tokens 进行了冷启动训练，上下文窗口长度为 8192，架构设计上融合了 StarCoder 和 Llama 两者的核心特性。
官方声称，CodeShell 的原始训练数据基于自家爬取的 Github 数据、Stack 和 StarCoder 数据集，以及少量“高质量的中英文数据”，这些预训练数据均经过了“数据判重、数据过滤规则、数据质量模型一系列流水线”。
—— IT之家