问题 / 你大概正在遇到
客户要求数据不出内网，但又想用大模型能力。
一、为什么会反复发生
- 把「大模型」当成一个整体，没拆开看
- 低估本地推理的硬件与运维成本
- 没有降级方案：联网不可用时业务直接停
二、四步做法
- 拆四层：数据、检索、推理、交互，逐层判断敏感度
- 数据与检索优先本地化（向量库、文件都在内网）
- 推理层按敏感度选：不敏感走 API，敏感走本地小模型
- 必须写降级路径：断网时退回到「人工 + 模板」
三、对照表
| 层 | 能否本地化 | 代价 |
|---|---|---|
| 数据与索引 | 完全可以 | 需要人维护 |
| 推理（大模型） | 可，但需显卡与运维 | 成本高、效果弱于云端 |
| 交互与界面 | 完全本地（静态页） | 几乎无成本 |
四、常见问题
本地小模型够用吗？
看任务：分类、抽取、摘要通常够；复杂的多步推理不够，这种情况要设计「人机协同」。
硬件要多少预算？
按你要跑的模型规模定，先租用验证再买；【假设】单卡推理一个 7B 模型可支撑个位数并发。
五、怎么落地
上面这些做法，用一张表 + 一个看板就能先跑起来：免费模板里有窗口台账、日报、审批队列与周会议程； 跑通之后想固化成一屏，再看在线看板与定价。
我们不写客户案例（当前 ARR $0，没有可公开的付费客户），所以文中只给方法与边界，效果需要你自己测。
RELATED // 继续读
相关的几篇（含跨分类）
- 私有化部署的真实成本：三年账要算四项 · 数据与私有化
- AI 能力自研还是采购：按「变化速度」决定 · AI 转型
- AI 转型要不要招算法工程师：先看你要做哪一层 · AI 转型
- 私有化还是 SaaS：先算清三笔账再决定 · 数据与私有化