工作坊: Triton 语言与 vLLM

vLLM:一个简单、高效且用户友好的大模型推理框架

Speakers
Date / Time
2024-10-17
15:30

本次演讲将涵盖以下关键点: vLLM 项目的起源与发展。 vLLM 支持的模型、硬件和功能。 vLLM 的社区建设及近期计划展望。