Torna alla ricerca

vllm

AltroGitHubAttivoPython

A high-throughput and memory-efficient inference and serving engine for LLMs

Provenienza della descrizione: Fonte originale

Apri la fonte canonica

Misurato: 16 ott 2026 · 69 osservazioni

Domini & Utilizzi

Domini
IA / LLM

Verifica alla fonte

Verifica compatibilità e requisiti nella documentazione ufficiale.

https://github.com/vllm-project/vllm

Classificazioni

Natura
Strumento