PoC 验证版
单机 Docker Compose,用最低成本跑通业务验证与投标 POC。
- vLLM 单机推理 + AiToken 统一网关(OpenAI 兼容)
- PostgreSQL / Redis / MinIO 单机编排,一条 compose 拉起
- 内置模型管理、Key 分发、用量与审计日志
参考预算
15–40 万(不含硬件)
适用场景
内部知识库问答、单部门试点、售前 POC
私有化部署方案
同一套 AiToken 网关,覆盖 PoC、标准生产、集群规模、信创全栈、混合云与软硬一体六种交付形态。先选一个贴近你现状的起点,再按业务增长平滑扩容。
以下为参考区间,最终配置与报价以现场勘察和 POC 结果为准。
Deployment Options
算力、模型规模、并发与合规要求不同,落地方式也不同。可直接对号入座,也可组合使用。
单机 Docker Compose,用最低成本跑通业务验证与投标 POC。
参考预算
15–40 万(不含硬件)
适用场景
内部知识库问答、单部门试点、售前 POC
三节点高可用,覆盖中型企业日常生产流量。
参考预算
60–150 万(不含硬件)
适用场景
客服助手、研发编码助手、办公文档问答
Kubernetes + 多机多卡,承接集团级高并发与 MoE 大模型。
参考预算
200–500 万(不含硬件)
适用场景
集团多租户、模型即服务、对外 AI 开放平台
国产芯片 + 国产 OS + 国产数据库,满足强合规与离线交付。
参考预算
150–400 万(含国产算力适配)
适用场景
党政、金融、能源、军工等强合规行业
不自建 GPU,只在客户侧部署网关与审计,模型走专线或专属实例。
参考预算
10–30 万/年 + 按量计费
适用场景
暂无 GPU 机房、希望先合规落地或流量波动大
预集成软硬件,开箱即用,适合分支机构与边缘节点。
参考预算
50–200 万(整机含软件)
适用场景
分支机构、边缘推理、快速交付场景
Matrix
| 交付形态 | 算力底座 | 模型规模 | 典型并发 | 交付周期 | 参考预算 |
|---|---|---|---|---|---|
| PoC 验证版 | 1 台 GPU 服务器(1×L40S 48GB / 1×A100 80GB) | 7B–32B(Qwen3-32B、GLM-4-9B、DeepSeek-R1-Distill-32B) | 20–50 并发 | 1–2 周 | 15–40 万(不含硬件) |
| 标准生产版 | 3 节点,2–4×A100 / H20 / L40S | 32B–70B(Qwen3-32B/72B、Llama 3.3-70B) | 100–200 并发 | 3–4 周 | 60–150 万(不含硬件) |
| 集群规模版 | K8s 集群,8+ GPU,多机多卡 TP / EP | 70B–671B MoE(DeepSeek V3/R1、Qwen3-235B) | 500+ 并发 | 6–8 周 | 200–500 万(不含硬件) |
| 信创全栈版 | 鲲鹏 / 海光 / 飞腾 + 昇腾 910B 或海光 DCU | 7B–70B 国产化适配(Qwen / GLM / DeepSeek 蒸馏版) | 50–150 并发 | 4–6 周 | 150–400 万(含国产算力适配) |
| 混合云网关版 | 客户侧 2–3 台通用服务器(无 GPU) | 云上 / 专属实例模型,本地 + 云端混合路由 | 按云上配额弹性扩展 | 约 1 周 | 10–30 万/年 + 按量计费 |
| 软硬一体机版 | 单机 4 / 8 卡(L40S / L20 / 昇腾) | 7B–70B 预装,支持后续扩展 | 50–150 并发 | 3–5 天 | 50–200 万(整机含软件) |
Delivery
盘点业务场景、数据敏感级别、并发与模型规模,输出选型建议。
确定算力清单、网络拓扑、高可用与合规基线,给出报价与排期。
进场安装、模型导入、网关联调、压测与安全加固。
按并发、首 token 延迟、吞吐与可用性验收,交付文档与运维培训。
FAQ
可以。网关支持本地模型与云上模型统一路由:敏感请求留在本地,通用请求走云端,按策略分流。
立即免费体验 Ai Token AI 网关,简化多模型集成,实现全球低延迟访问。