本地部署 AI 是指语言模型运行在机构自有的硬件上,位于机构自己的网络内,问题和文件不会发送到任何外部服务。它适合处理机密、个人或运营敏感数据的机构。代价是机构或其供应商必须提供并维护硬件。

为什么机构提出这个要求

国家数字局(Jabatan Digital Negara)于 2025 年 2 月 27 日推出《公共领域 AI 应用指南》,为采用 AI 的机构列出道德原则、风险管理和自我评估的要求。对许多机构来说,回应其中数据问题最简单的办法,就是把模型留在自己的大楼里。

云端 AI 与本地部署 AI 对比
云端 AI 服务本地部署 AI
数据去向传到服务商的服务器留在机构内网
硬件无需购买一台 AI 工作站或服务器
模型能力可用的最大模型较小的开源模型,专项任务表现好
成本结构按用量付费以前期投入为主,运行成本低
断网时能否使用不能能

本地助手擅长做什么

  • 根据机构自己的通告、政策和常见问题回答员工或公众的提问,并显示来源
  • 读取收到的文件,提取办事人员需要的字段
  • 为长篇报告做摘要,起草常规回复供人员核对
  • 以马来文和英文搜索内部文件

运行它需要什么

目标明确的助手不需要数据中心。一台 AI 工作站就能支持机构网站的聊天助手和内部搜索。更重要的是前期准备:收集已批准的来源文件、决定助手必须拒绝回答什么,并指定负责审核答案的人员。

Virtucon 按工作量配置硬件,在现场安装和测试系统,并培训机构团队自行更新知识库。

常见问题

本地模型和公共 AI 聊天机器人一样强吗?

在开放式任务上不如。但对于明确的工作,例如根据机构自己的文件作答,能找到正确来源的较小模型表现良好,而且每个答案都能追溯到文件。

助手说的话由谁负责?

由机构负责。因此答案应注明来源,不确定的问题应转给人员处理,对话应留存记录以便审核。

资料来源