赋能企业人工智能转型的模型平台
一个深受客户信赖的高性能大模型推理引擎，开发便利，性能强大
多模型
提供50多个开源模型，从文本生成到图像生成，始终保持行业前沿。
多硬件
支持多种硬件平台，按需部署
可定制
根据自己的需求和数据进行模型微调，提升模型在特点业务场景下的效果
低门槛
支持一体机/云端部署等多种部署模式，降低运维成本。
分布式
原生分布式架构，可轻松水平扩展集群，支持负载均衡与容错。
极致性能
高效适配底层硬件，使用vLLM和投机采样等优化技术，大幅提升推理吞吐，降低API延迟。
开源AI技术栈
开源开放的AI基础设施平台
Xorbits模型平台对接了多款开源AI应用和开发框架，如Dify.AI、Chatbox、LangChain、LlamaIndex和Continue.dev等工具，持续增加中。
通过Xorbits模型平台，你能够方便地接入开源AI应用，或构建自己的AIGC应用。
文生图
部署Stable Diffusion模型，使用AI绘图软件提升设计效率
代码生成
通过开源智能代码编程助手，帮助开发人员提高编码效率和质量
企业知识库
基于开源LLMOps工具和编程框架，开发者可以更快速地构建AI原生知识应用
AI应用框架
使用LangChain和LlamaIndex提供的接口，轻松构建AI应用
常见问题
Xorbitst推理平台是一个高性能大模型推理平台，针对底层硬件的高效适配多种模型，将大模型变成API可以访问的服务，能够大幅降低大模型的部署门槛和成本，助力上层AI应用的快速实现。
Xorbits模型平台支持大语言模型（如百川、ChatGLM）、嵌入式模型（如BGE）。
通过文档查看Xorbits模型平台支持的完整模型列表。
我们面向企业提供Xorbits推理平台的私有化部署服务。详情可以咨询我们的销售人员。
