本地部署 AI 是指语言模型运行在机构自有的硬件上,位于机构自己的网络内,问题和文件不会发送到任何外部服务。它适合处理机密、个人或运营敏感数据的机构。代价是机构或其供应商必须提供并维护硬件。
为什么机构提出这个要求
国家数字局(Jabatan Digital Negara)于 2025 年 2 月 27 日推出《公共领域 AI 应用指南》,为采用 AI 的机构列出道德原则、风险管理和自我评估的要求。对许多机构来说,回应其中数据问题最简单的办法,就是把模型留在自己的大楼里。
| 云端 AI 服务 | 本地部署 AI | |
|---|---|---|
| 数据去向 | 传到服务商的服务器 | 留在机构内网 |
| 硬件 | 无需购买 | 一台 AI 工作站或服务器 |
| 模型能力 | 可用的最大模型 | 较小的开源模型,专项任务表现好 |
| 成本结构 | 按用量付费 | 以前期投入为主,运行成本低 |
| 断网时能否使用 | 不能 | 能 |
本地助手擅长做什么
- 根据机构自己的通告、政策和常见问题回答员工或公众的提问,并显示来源
- 读取收到的文件,提取办事人员需要的字段
- 为长篇报告做摘要,起草常规回复供人员核对
- 以马来文和英文搜索内部文件
运行它需要什么
目标明确的助手不需要数据中心。一台 AI 工作站就能支持机构网站的聊天助手和内部搜索。更重要的是前期准备:收集已批准的来源文件、决定助手必须拒绝回答什么,并指定负责审核答案的人员。
Virtucon 按工作量配置硬件,在现场安装和测试系统,并培训机构团队自行更新知识库。
常见问题
本地模型和公共 AI 聊天机器人一样强吗?
在开放式任务上不如。但对于明确的工作,例如根据机构自己的文件作答,能找到正确来源的较小模型表现良好,而且每个答案都能追溯到文件。
助手说的话由谁负责?
由机构负责。因此答案应注明来源,不确定的问题应转给人员处理,对话应留存记录以便审核。