Bonsai 27B: A 27B-Class model that runs on a phone
Hacker News · 2026-07-14 · AI 모델 출시
PrismML의 Bonsai 27B는 Qwen3.6 27B 기반으로, 27B급 능력치를 휴대폰까지 내리는 첫 사례를 제시한다. 두 가지 운영점으로 나오는데, ternary 버전은 {-1,0,+1} 가중치와 FP16 그룹 스케일링으로 실효 1.71비트/가중치를 달성해 모델 크기 5.9GB로 노트북급에서 전체 추론 능력을 유지한다. 1-bit 버전은 {−1,+1} 이진 가중치로 실효 1.125비트/가중치를 달성해 3.9GB로 축소되어 iPhone 17 Pro 메모리 제약 안에 들어간다. 저비트 표현은 임베딩·어텐션·MLP·LM 헤드 등 언어 네트워크 전반에 걸쳐 적용되며 고정소수점 도약(escape hatch)이 없고, 비전 타워는 컴팩트한 4비트로 제공되어 스크린샷·문서·카메라 입력을 다룰 수 있다. 맥락 길이는 262K 토큰을 지원하고, speculative-decoding과 draft-and-verify 가속을 통해 처리 속도를 추가로 높인다. 15개 벤치마크(지식·추론·수학·코딩·툴콜링·비전 등)에서 ternary는 풀프리시전 대비 약 95%, 1-bit는 약 90%를 유지했으며, 특히 수학·코딩 성능과 툴호출 능력은 거의 손실이 없다. 1-bit는 GB당 지능밀도 0.53을 기록해 풀프리시전 대비 10배 이상, 기존 최상의 저비트 대안 대비 약 2.7배 우수하다고 보고됐다. 성능 측정치로는 NVIDIA GeForce RTX 5090에서 1-bit 최대 163 tok/s, ternary 134 tok/s, Apple M5 Max에서 각각 87 tok/s와 58 tok/s를 제시한다. 기술적 의미는 단순한 모델 축소를 넘어 '에이전트형 연속 작업'을 로컬로 옮길 수 있다는 점에 있다. 휴대폰은 표기된 저장용량이 아닌 앱에 할당되는 실사용 메모리(예: 12GB 기기에서 약 6GB)를 기준으로 동작하며 KV 캐시와 활성화 메모리를 고려하면 약 4GB 수준으로 들어오는 1-bit 빌드만이 실무적으로 배포 가능하다는 점을 근거로 든다. 로컬 실행이 가능해지면 수백 단계에 걸친 루프의 한계비용이 사실상 0에 가깝고, 사용자의 파일·스크린·데이터가 네트워크를 떠나지 않으므로 프라이버시·지연·단가 측면에서 새로운 제품군과 하이브리드 아키텍처(로컬 모델로 민감·반복 작업 처리, 클라우드로 난제 처리)를 여는 변곡점이 된다. 모델은 Apple(MLX)과 NVIDIA(CUDA)에서 네이티브로 구동되며, 가중치는 Apache 2.0으로 공개되어 개발자 검증과 실험이 가능한 점도 실무적 가치를 높인다.