| 功能 | 企业版本 | 开源版本 |
|---|---|---|
| 用户权限管理 | 用户权限、单点登录、加密认证 | tokens 授权 |
| 集群能力 | SLA 调度、租户隔离、弹性伸缩 | 抢占调度 |
| 引擎支持 | 优化过的 vLLM、SGLang、TensorRT | vLLM、SGLang |
| 批处理 | 支持大量调用的定制批处理 | 无 |
| 微调 | 支持上传数据集微调 | 无 |
| 国产 GPU 支持 | 昇腾、海光、天数、寒武纪、沐曦 | 无 |
| 模型管理 | 可私有部署的模型下载和管理服务 | 依赖 modelscope 和 huggingface |
| 故障检测和恢复 | 自动检测节点故障并进行故障复位 | 无 |
| 高可用 | 所有节点都是冗余部署支持服务高可用 | 无 |
| 监控 | 监控指标 API 接口，和现有系统集成 | 页面显示 |
| 运维 | 远程 cli 部署、不停机升级 | 无 |
| 服务 | 远程技术支持和自动升级服务 | 社区支持 |
