AI 模型与基础设施

vLLM：简单、快速且低成本的LLM服务解决方案

Speakers
游凯超
Date / Time
2024-10-18
9:30

vLLM是一个快速易用的LLM推理和服务库。在本讲座中，我将简要介绍vLLM项目的发展历程、其背后的开源社区，并重点介绍许多用户感兴趣的一些功能。