‘온디바이스 AI’는 무슨 뜻일까요?
온디바이스 AI란 AI 모델을 회사의 서버가 아니라 내 컴퓨터나 휴대폰에서 실행하는 것을 말합니다. 입력한 내용이 그 자리에서 처리되므로 밖으로 보낼 필요가 없고, 인터넷에 연결되어 있지 않아도 기능이 계속 작동합니다.
클라우드 AI와 온디바이스 AI
지금까지 써 온 AI 기능은 대부분 클라우드 AI입니다. 요청이 데이터센터로 가고, 큰 모델이 그곳에서 처리한 뒤, 답이 돌아옵니다. 모델은 회사의 컴퓨터를 떠나지 않으므로 내 입력이 그쪽으로 가야 합니다.
온디바이스 AI는 이를 뒤집습니다. 모델은 내 디스크에 있는 파일입니다. 기능이 필요할 때 컴퓨터 메모리에 올라가 프로세서나 그래픽 카드에서 실행됩니다. 입력은 그 자리에 머물고, 모델이 나에게 온 셈입니다.
나에게 달라지는 것
- 개인정보 보호. 입력이 기기를 떠나지 않으므로 저장되거나 유출되거나 학습에 쓰일 사본이 어디에도 없습니다.
- 오프라인 사용. 모델을 내려받은 뒤에는 비행기에서도, 기차에서도, 외부 서비스를 막아 둔 네트워크에서도 작동합니다.
- 계정 불필요. 내가 누구인지 알아야 하는 서버도, 요청 횟수를 세는 서버도 없습니다.
- 일정한 속도. 결과가 그때그때의 연결 상태에 좌우되지 않습니다.
그 대신 필요한 것
노트북에 들어가는 모델은 데이터센터의 모델보다 작습니다. 자유로운 조사나 긴 에세이보다는 글 검사나 다시 쓰기 같은 범위가 정해진 작업에 맞습니다. 또 일정 수준의 하드웨어, 여유 디스크 공간, 처음 쓰기 전에 몇 GB를 한 번 내려받는 과정이 필요합니다.
이 거래가 맞는 작업도 있고 맞지 않는 작업도 있습니다. 누구에게도 넘기고 싶지 않은 글이라면, 범위가 정해진 내 컴퓨터의 모델이 더 나은 선택인 경우가 많습니다.
Chrome Built-in AI
Google Chrome에는 이제 웹사이트와 확장 프로그램이 사용할 수 있는 온디바이스 AI가 들어 있습니다. 바로 Chrome Built-in AI입니다. Chrome이 모델을 한 번 내려받고, 이를 사용하는 기능은 내 컴퓨터에서 실행됩니다.
필요한 조건은 Chrome이 정합니다. Windows, macOS, Linux, Chromebook Plus의 Chrome 138 이상, 22GB의 여유 디스크 공간, 그리고 메모리가 4GB를 넘는 그래픽 카드나 16GB RAM입니다. 모델 자체는 몇 GB이고, 22GB는 Chrome이 비워 두려는 공간입니다. 각 조건을 확인하는 방법은 내 컴퓨터에서 실행될까요?에서 설명합니다.
정말 기기에서 실행되는지 알아보는 법
- Wi-Fi를 꺼도 계속 작동한다.
- 개인정보처리방침에 입력이 어디서 처리되는지 적혀 있다. “안전하다”, “암호화된다”라고만 쓰여 있지 않다.
- 모델을 내려받거나, 브라우저나 운영체제가 제공하는 모델을 필요로 한다.
“암호화”가 설명하는 것은 서버까지 가는 길뿐입니다. 글이 도착한 뒤 무슨 일이 일어나는지는 아무것도 말해 주지 않습니다.
Private Writing Assistant는 어디에 해당할까
Private Writing Assistant는 Chrome Built-in AI 위에 만들어졌습니다. 맞춤법과 문법 검사, 그리고 다시 쓰기가 101개 언어로 내 컴퓨터에서 실행되며, 웹사이트에서 쓴 글은 저희에게도 AI 서비스에도 전송되지 않습니다. 글에 어떤 일이 일어나는지는 작동 방식에서 단계별로 설명합니다.
매일 글을 쓰는 곳에서 온디바이스 AI를 써 보세요. Private Writing Assistant를 Chrome에 추가하세요. 무료이며 계정도 필요 없습니다.