HackerRank open sourced its ATS. My resume scored 90/100. Oh wait 74. No – 88
Hacker News · 2026-06-29 · AI 채용도구/채용자동화
HackerRank가 오픈소스화한 ATS(hiring-agent)를 직접 돌려본 사용자가 같은 이력서로도 점수가 크게 들쑥날쑥하는 경험을 공유했다. 도구는 PDF를 텍스트로 파싱하고 LLM을 여섯 번 호출해 기본정보·경력·학력·기술·프로젝트·수상경력 등을 추출한 뒤, GitHub 상위 저장소를 추가 컨텍스트로 붙여 전체를 다시 LLM에 넣어 100점 만점(보너스 최대 20점)으로 채점한다. 기본 모델은 gemma3:4b, 온도는 0.1로 낮게 설정했지만 동일한 이력서를 여러 번 돌리면 최초 90→74 등 점수가 변하고, 100회 반복에서는 66~99 사이를 오가며 컷오프(예:85) 기준으로는 같은 사람도 운에 따라 합격/불합격이 뒤바뀐다. 기술 스킬 항목은 체크리스트라 거의 일관되게 높은 점수를 받았지만 프로젝트 항목은 “아키텍처 복잡성 없음/배포 실무 있음”처럼 LLM의 판단이 크게 흔들려 불안정성이 컸다. 온도를 0으로 낮춰도 문제는 해결되지 않았고, 다른 모델(Gemini)은 분포를 좁히긴 했지만 여전히 컷오프 인근에서 실패 확률이 남았다. 또 하나의 핵심 문제는 평가 기준과 프롬프트 설계다. 경력 항목은 프로덕션(0–25점) 설명이 두 줄에 불과해 점수 기준의 앵커나 예시가 없어 인턴 한 건의 이력서에도 25/25가 부여되는 식으로 일관성은 있지만 무의미한 보정이 발생했다. 레포지토리의 템플릿에는 소프트웨어 인턴이라는 문자열이 존재한다는 지적과 함께, 시니어 엔지니어로 명시해도 동일한 결과가 나와 포지션 무관한 채점이 이뤄진다는 수정(코렉션)도 보고됐다. 저자는 LLM을 구조화된 데이터 추출에는 유용하지만, 정성적 판단으로 수치화해야 하는 항목에는 ‘바이브 체크’ 수준의 한계가 분명하다고 평가하며, 오픈소스·프로젝트에 치중된 가중치(전체의 약 65%)는 실제 경험이나 비공개 성과를 배제해 우수 인재를 걸러낼 위험이 크다고 경고한다. 기술팀과 채용 담당자에게는 AI 기반 선별 도구의 한계와 설계상의 편향을 이해한 뒤 도입·컷오프 기준을 신중히 정하라는 실무적 시사점을 제시한다.