AI 模型与基础设施

vLLM:简单、快速且低成本的LLM服务解决方案

Speakers
Date / Time
2024-10-18
9:30
Presentation Slides
Presentation Video

vLLM是一个快速易用的LLM推理和服务库。在本讲座中,我将简要介绍vLLM项目的发展历程、其背后的开源社区,并重点介绍许多用户感兴趣的一些功能。