三大核心功能模块
Agent 实例、推理实例与 AI 网关协同构成完整 AI 云能力栈
Agent 实例

容器化:基于 Ubuntu 桌面的 Linux 容器,一个容器一个 Agent 实例。

开箱即用:完整 Ubuntu 桌面与独立 workspace,预置浏览器和常见工具。

安全隔离:独立存储与网络空间,支持 CPU / 内存配额。

自助管理:浏览器访问桌面 GUI,自主配置 Agent、大模型和 IM 通道。

推理实例

容器化:Ollama / vLLM 等 LLM 框架以容器实例方式运行。

GPU/NPU 支持:单卡、多卡、共享卡,MPS/HAMi 切分,兼容 NVIDIA/昇腾/海光等。

模型秒发:模型数据预分发到宿主机,秒级挂载,内置开源大模型数据。

支持框架:vLLM · Ollama · ComfyUI,覆盖推理、部署与图像生成。

AI 网关

统一接入:统一管理云 AI 网关、供应商与接入点,一处对接多模型服务。

API Key:虚拟访问密钥、配额与权限范围,安全调用平台 AI 网关。

智能路由:按模型标识将请求转发到公有供应商或本地推理部署。

多供应商:支持 OpenAI、DeepSeek 等公有云 API,与私有推理协同。

Agent 与 LLM 搭配方案
按成本、数据安全与模型能力要求灵活选择,AI 网关统一接入与路由
零 GPU 方案
普通服务器批量部署 Agent,经 AI 网关对接在线大模型 token 服务。

优点:无需 GPU 投入,按 Token 调用量付费。

私有化方案
普通服务器运行 Agent,GPU 服务器部署本地 Ollama / vLLM;AI 网关将流量路由到内网推理服务。

优点:数据不出内网,无额外 Token 费用。

混合方案
同时接入本地推理与在线大模型;AI 网关按路由规则将简单请求分配给本地模型,复杂请求转发到在线模型。

优点:在成本与模型能力体验之间取得平衡。

平台优势

秒级分发

模型预分发 + 容器化

实例启动秒级就绪

安全可控

网络隔离、存储隔离

API Key 配额与权限

成本优化

GPU 共享切分

智能路由降本增效

开放兼容

支持主流 LLM 框架

统一网关 API 开放

技术支持

技术支持

扫码加入技术支持微信群

扫码加入技术支持微信群


公众号

官方公众号

扫码关注获取最新动态