支持的硬件
Ascend
Cambricon
NVIDIA
Iluvatar CoreX
Moore Threads
Hygon
多种模型，多种芯片，一个推理层
01 模型
- LLM
- VLM
- DiT
- REC
02 统一引擎
xLLM
服务与引擎
- 调度
- KV 缓存
- 图执行
03 加速器
- NPU
- MLU
- GPU
易用
通过兼容 OpenAI 与 Anthropic 的 API，将模型快速接入你的在线服务。
高效
通过连续批处理、任务流水线与图执行，让加速器保持高利用率，降低运行时开销并提升吞吐。
低成本
复用提示前缀，并将 KV 缓存扩展至显存、主机内存与分布式存储，减少重复计算与内存压力。
广泛支持
跨平台模型与硬件支持
支持的模型
DeepSeek
Qwen
Kimi
GLM
Flux
OneRec
资源
使用 xLLM 构建
从首次部署到深入了解引擎，从这里开始。