AI 模型与基础设施

元象大模型的实践探索

Speakers
轩文烽
Date / Time
2024-10-17
17:10

主要介绍元象大模型在从0到1，从Dense到MoE的研发过程中的实践探索，包括数据、模型、架构等方面。数据层面，大模型需要哪些数据，怎么加工处理，怎么迭代更新；模型层面，从Dense到MoE，如何设定专家大小、专家权重；架构层面，如何提升训练效率，如何保证稳定训练等。