AI 模型与基础设施
元象大模型的实践探索
Speakers
Presentation Slides
Presentation Video
主要介绍元象大模型在从0到1，从Dense到MoE的研发过程中的实践探索，包括数据、模型、架构等方面。数据层面，大模型需要哪些数据，怎么加工处理，怎么迭代更新；模型层面，从Dense到MoE，如何设定专家大小、专家权重；架构层面，如何提升训练效率，如何保证稳定训练等。
主要介绍元象大模型在从0到1，从Dense到MoE的研发过程中的实践探索，包括数据、模型、架构等方面。数据层面，大模型需要哪些数据，怎么加工处理，怎么迭代更新；模型层面，从Dense到MoE，如何设定专家大小、专家权重；架构层面，如何提升训练效率，如何保证稳定训练等。