「裝置端 AI」是什麼意思?
裝置端 AI 是指 AI 模型在你自己的電腦或手機上執行,而不是在公司的伺服器上。你輸入的內容就地處理,不需要傳出去,沒有網路時功能也照樣能用。
雲端 AI 與裝置端 AI
你用過的大部分 AI 功能都是雲端 AI:請求送到資料中心,大型模型在那裡處理,再把答案傳回來。模型從不離開公司的電腦,所以得由你的輸入跑過去。
裝置端 AI 剛好相反。模型是你硬碟上的一個檔案。功能需要時,它會載入電腦的記憶體,在處理器或顯示卡上執行。你的輸入留在原地,是模型來到你這裡。
這對你代表什麼
- 隱私。你的輸入不會離開裝置,所以任何地方都沒有可以被儲存、外洩或拿去訓練的副本。
- 離線也能用。模型下載後,在飛機上、火車上、封鎖外部服務的網路裡都能使用。
- 不需要帳號。沒有伺服器需要知道你是誰,也沒有伺服器在計算你的請求次數。
- 速度穩定。結果不受當下網路好壞影響。
要付出什麼
能裝進筆電的模型,比資料中心裡的模型小。它比較適合檢查和改寫文字這類目標明確的工作,不太適合開放式研究或寫長篇文章。它也需要一定等級的硬體、可用的磁碟空間,以及第一次使用前一次性下載幾 GB。
這筆交易有些工作划算,有些不划算。對於不想交給任何人的文字,目標明確的本機模型通常更值得。
Chrome Built-in AI
Google Chrome 現在內建了網站和擴充功能都能使用的裝置端 AI,叫做 Chrome Built-in AI。Chrome 下載一次模型,使用它的功能就在本機執行。
需求由 Chrome 訂定:Windows、macOS、Linux 或 Chromebook Plus 上的 Chrome 138 以上版本、22 GB 可用磁碟空間,以及記憶體超過 4 GB 的顯示卡或 16 GB RAM。模型本身只有幾 GB,22 GB 是 Chrome 想保留的空間。如何逐項確認,請見我的電腦能執行嗎?
怎麼判斷一個工具真的在裝置上執行
- 關掉 Wi-Fi 後還能繼續使用。
- 隱私權政策寫明你的輸入在哪裡處理,而不只是寫「安全」或「加密」。
- 它需要下載模型,或需要瀏覽器、作業系統提供的模型。
「加密」說的只是通往伺服器的那段路,對文字送達之後發生什麼事,什麼也沒說。
Private Writing Assistant 屬於哪一種
Private Writing Assistant 建構在 Chrome Built-in AI 之上。拼字和文法檢查以及改寫,都在你的電腦上以 101 種語言執行,你在網站上寫的文字絕不會傳給我們或任何 AI 服務。你的文字經歷了什麼,運作方式有一步步的說明。
在你每天打字的地方試試裝置端 AI:把 Private Writing Assistant 加到 Chrome。免費,不需要帳號。