AI 模型与基础设施

百变大模型高效训练框架LLaMA Factory

Speakers
Date / Time
2024-10-18
11:10

LLaMA Factory是一个高效、易用、可扩展的开源大模型高效训练框架,在GitHub开源社区获得超过 3 万 Stars,得到多家国内外企业的关注或落地应用。本次分享将从大模型高效训练的角度详细剖析 LLaMA Factory 的构建动机与组成模块,包括上百种大模型的全栈微调适配原理,LoRA 算子优化加速方法,多种微调 Trick 集成思路等等。