“设备端 AI”是什么意思?

设备端 AI(也叫端侧 AI)是指 AI 模型在你自己的电脑或手机上运行,而不是在公司的服务器上。你输入的内容就地处理,不需要发送出去,没有网络时功能也照样能用。

云端 AI 与设备端 AI

你用过的大多数 AI 功能都是云端 AI:请求发到数据中心,大模型在那里处理,再把答案传回来。模型从不离开公司的电脑,所以得由你的输入跑过去。

设备端 AI 正好反过来。模型是你硬盘上的一个文件。功能需要时,它被加载到电脑内存中,在处理器或显卡上运行。你的输入留在原地,是模型来到了你这里。

这对你意味着什么

代价是什么

能装进笔记本电脑的模型,比数据中心里的模型小。它更适合检查和改写文字这类目标明确的任务,不太适合开放式调研或写长文。它还需要一定的硬件、可用的磁盘空间,以及首次使用前一次性下载几个 GB。

这笔交易有的任务划算,有的不划算。对于不想交给任何人的文字,目标明确的本地模型往往更值得。

Chrome Built-in AI

Google Chrome 现在内置了网站和扩展程序都能使用的设备端 AI,叫作 Chrome Built-in AI。Chrome 下载一次模型,使用它的功能在本地运行。

要求由 Chrome 规定:Windows、macOS、Linux 或 Chromebook Plus 上的 Chrome 138 及以上版本,22 GB 可用磁盘空间,以及显存超过 4 GB 的显卡或 16 GB 内存。模型本身只有几个 GB,22 GB 是 Chrome 希望预留的空间。如何逐项检查,见我的电脑能运行吗?

怎么判断一个工具真的在本地运行

“加密”说的只是通往服务器的那段路,对文字到达之后发生什么,什么也没说。

Private Writing Assistant 属于哪一种

Private Writing Assistant 构建在 Chrome Built-in AI 之上。拼写和语法检查以及改写,都在你的电脑上以 101 种语言运行,你在网站上写的文字永远不会发送给我们或任何 AI 服务。你的文字经历了什么,工作原理里有逐步说明。

在你每天写字的地方试试设备端 AI:把 Private Writing Assistant 添加至 Chrome。免费,无需账号。

添加至 Chrome