工作坊: Triton 语言与 vLLM

vLLM：一个简单、高效且用户友好的大模型推理框架

Speakers
游凯超
Date / Time
2024-10-17
15:30
Presentation Slides
Presentation Slides
Presentation Video
YouTube

本次演讲将涵盖以下关键点： vLLM 项目的起源与发展。 vLLM 支持的模型、硬件和功能。 vLLM 的社区建设及近期计划展望。