使用完全开源的Moxin 7B模型揭开LLM训练的神秘面纱

最近，大型语言模型（LLM）经历了重大转变，其受欢迎程度和功能均迅速上升。开源 LLM，例如 LLaMa 和 Mistral，由于易于在各种应用程序中自定义和部署模型，为 LLM 的日益普及做出了巨大贡献。尽管LLM为研究和创新提供了前所未有的机会，但其商业化引起了人们对透明度、可重复性和安全性的担忧。许多开放的LLM模型缺乏必要的组件（例如训练代码和数据），以实现充分理解和可重复性，有些则使用限制性许可证，同时声称是 “开源”，这可能会阻碍LLM的进一步创新。为了缓解这个问题，我们遵循模型开放性框架 (MOF)，这是一个排名分类系统，它遵循开放科学、开源、开放数据和开放获取的原则，根据机器学习模型的完整性和开放性对其进行评级。我们提供了一个真正的开源 LLM Moxin 7B，并发布预训练代码和配置、训练和微调数据以及中间和最终检查点，旨在对完全开源 LLM 做出持续承诺。