GLM 5.2 is nearly as accurate as a human book keeper
Hacker News · 2026-07-09 · AI/금융 자동화
저비용 오픈웨이트 모델인 GLM 5.2를 소규모 영국 회사의 분기별 부가가치세(VAT) 신고에 적용한 벤치마크는 실무적 의미가 큰 결과를 보여준다. 벤치마크 대상은 Vineyard Finance의 2026년 1분기 장부(59건)이며, 모델은 GCP 인스턴스에서 사전 인증된 CLI 도구를 통해 회계 소프트웨어에 거래를 입력했다. 영수증은 텍스트 포함 PDF였고 시각 인식은 필요하지 않았다. 평가자는 회계 소프트웨어의 최종 상태를 기준으로 거래당 6개 기준(거래 유형, 계정 분류, VAT 처리·금액, 역과세 등, 영수증 첨부 등)을 채점했고, 결과적으로 GLM 5.2는 총 354개 확인 항목 중 20개를 실패했으나 최종 VAT 순액은 인간 준비본과 단 7펜스 차이밖에 나지 않았다. 실행 시간·토큰 사용량·캐시(92–95%)와 비용(분기 총 원시 토큰 비용 $2.73) 수치도 상세히 제시된다. 오류 분석은 실무적 함의를 분명히 한다. 가장 심각한 실수는 창업자 지분(주식 자본)을 ‘Capital Account’로 처리해 회계·법적 결과를 초래할 소지가 있는 점(금액 10,000 GBP)이었고, 나머지 오류의 다수는 ‘영세율(zero-rated)’과 ‘면세(tax-exempt)’를 혼동한 것이었다. 이 혼동은 월별로 확률적으로 발생했으며(1–2월엔 반복, 3월엔 수정된 사례 존재), 일부 다중통화 분할거래에서는 VAT를 이중 집계하려는 경향도 관찰됐다. 반면 모델은 거의 항상 올바른 계정 분류를 했고, 잘못된 영수증 첨부는 없었으며 동일 금액·동일 업체의 중복 거래나 전표 분할·이체 등 난해한 상황을 잘 구분했다. 저자는 이러한 성과를 들어 회계 자동화가 빠르게 현실화되고 있음을 주장하며, UK 스타트업·중소기업에 이를 배포하기 위한 ‘스캐폴딩(운영·검증 체계)’ 구축이 다음 과제라고 결론짓는다.