측정 공개

수치가 어떻게 나왔는지까지 공개합니다.

이 페이지는 두 시장의 측정을 같은 규약으로 담습니다 — 나라장터와 미 연방(SAM.gov). 무엇으로 측정했고, 어떻게 쟀고, 무엇을 못 잡았는지 — 건별로 — 그리고 측정 자체의 한계가 어디인지까지.

87.4%: 나라장터 — 요구조건 추출 재현율 (동결 전수 골든셋 2,013항목 중 유효 1,985항목)
93.2%: 미 연방(SAM.gov) — 요구조건 추출 재현율 (전수 골든셋 1,481항목)
96.5%: 나라장터 — 판정 확정 지적 정밀도 (지적 건 전수 판정 후)
103 / 103: 미 연방 — 최신 벤치마크 실행의 확정 지적 전건 정탐 (판정 3표 만장일치)
99.4%: HWP·PDF 표 보존율 — 나라장터 하루치 첨부 500건(2026-09-08), 선호 형식·파싱 오류 제외

두 측정의 공통 규약

두 시장 모두 같은 절차를 씁니다. 정답지는 파이프라인 산출물에 접근이 차단된 상태에서 독립적으로 전수 작성하고, 모든 항목에 원문 그대로의 앵커를 붙여 기계 검증합니다. 정답지는 추출기를 돌리기 전에 커밋으로 동결하며, 채점 후 못 잡은 항목은 전건을 개별 규명합니다 — 미스터리로 남기는 건이 없습니다.

추출기를 고친 뒤에는 그 동결된 정답지로 다시 채점합니다. 그래서 이 페이지의 개선 전후 수치는 같은 시험지 위의 점수이지, 분모가 너그러워진 새 시험이 아닙니다.

나라장터 측정

골든셋 구성

실제 게시된 협상에 의한 계약 용역 공고 2건(문서 8개, 표 보존 파싱)이 재료입니다. 판정자가 파이프라인 산출물에 접근이 금지된 상태에서 요구조건 전수를 독립 저작했습니다 — 85항목·88항목, 그중 critical 41개. 정답지가 파이프라인이 우연히 뽑는 것에 맞춰 만들어질 수 없는 구조입니다.

모든 항목에 원문 그대로의 앵커가 붙고, 173개 앵커 전부가 기계 검증을 통과합니다. 표의 행 단위까지 항목에 포함됩니다 — 한국 공고 문서의 핵심은 표에 있기 때문입니다.

추출 측정

단발 추출은 골든셋 대비 재현율 82.1%입니다. 여기에 크리틱 패스 — 1차에서 빠진 요구만 추가로 탐색하는 두 번째 호출 — 를 더하면 92.5%로, 같은 비용의 독립 2표 합집합(88.4%)보다 높습니다. 지금 운영 중인 구성이 이것입니다: 문서당 LLM 호출 +1회.

크리틱은 설계상 과추출합니다. 이는 결정적 접지 계층이 흡수합니다 — 추가된 항목 포함 접지율 100%.

판정 측정

실제 응찰 서류는 정보공개 비공개 대상이라 입수할 수 없습니다. 대신 실공고 3건(실시설계 용역·태양광 설치공사·특수경비 용역, HWP+PDF)에 대해 완전 준수 응찰 패키지를 생성한 뒤, 시드 고정 변이로 라벨이 100% 확실한 결함 45개와 무해 재작성 트랩 15개를 주입해 15개 패키지를 만들었습니다.

검증 페이지의 18 / 19 는 이와 별개의 시험입니다 — 적대 코퍼스: 교묘한 결함 19종을 심은 패키지와 클린 팩 2종(오탐 측정)으로, 프롬프트나 모델을 바꿀 때마다 다시 돌리는 회귀 벤치마크입니다. 최근 국내 실행(2026-08-06)에서 19종 중 18종을 검출했고 그중 17건이 확정 등급입니다. 아래 주입 결함 45개와는 코퍼스·결함 세트가 다르므로 두 수치를 서로 비교하지 마십시오.

고확신(machine-certain) 정밀도는 지적 건 전수 판정 후 96.5%. 결정적 계층은 문서 누락·식별자 변조·총액 변조를 LLM 개입 없이 전건 검출했습니다.

못 잡은 것

미탐은 전건을 개별 규명했습니다 — 미스터리로 남긴 건이 없습니다. 주입 결함 45개 중 판정 계층이 놓친 9건:

3건 — 근거 수치가 당시 파서가 버리던 표 안에 있었음. 이후 표 보존 파싱 경로가 기본이 됨
2건 — 추출된 요구 요약에 이탈을 잡는 데 필요한 수치가 빠져 있었음 (판정이 아니라 요약 상세도 문제)
2건 — 순수한 판정 관대함: 섹션이 삭제됐는데도 “충족” 투표. 진짜 판정 실패는 45건 중 이 2건입니다.
1건 — 상류 추출 미스가 하류로 전파
1건 — 라벨 무효로 판명: 삭제된 내용이 다른 문서로 중복 커버돼 있었음

함께 공개합니다: 무해 재작성 트랩 15건 중 2건에 “부분 충족” 오탐이 있었고, 추출 잔여 미검출은 제안서 목차 표 안의 작성 지시 항목 같은 경계 사례에 몰려 있습니다.

재실행 안정성

15개 패키지 전부를 독립적으로 2회 검증했습니다. 최종 차단/통과 판정은 15/15 동일. 런 사이에 흔들리는 것은 “이 확약이 충분히 강한가” 같은 경계 등급에 국한되며, 결함에 대응하는 핵심 판정(문서 누락, 식별자·총액 불일치, 요구 누락)은 흔들리지 않았습니다.

무엇이 다른가 — 범용 도구·프로필 대조 방식 대비

제휴사·감리 담당자용 비교입니다. 특정 업체가 아니라 범용 문서 도구와 "프로필 대 기준" 방식과 견줍니다.

HWP·PDF 표 추출	표 셀 85~87%를 버림(공고문 214건 실측)	표 보존 99.4%(하루치 첨부 500건)
무엇을 판정하나	회사 프로필 대 심사 기준	제출 서류 대 공고의 요구조건 항목 하나하나
확신	모델 답 한 번	같은 질문을 세 번 따로 물어 답이 모두 같고 + 원문 인용 접지, 하나라도 빠지면 검토 권고
전달 전	—	자동 검사 7종 통과 뒤 전달
여기서 못 재는 것	—	평가 배점, 수행 해석, 실제 응찰 제안서(패키지는 합성)

이 표의 수치는 위 절들과 같은 잣대이며, 각각 측정 페이지나 노트가 따로 있습니다. 토크나이저 측정 재현 (공개 저장소) →

측정의 한계

응찰 패키지가 합성입니다. 실제 업체 제안서는 문체·구조·오류 분포가 다르며, 이 수치는 벤치마크 성능이지 귀하의 서류에 대한 보장이 아닙니다.
적격심사 배점, 실적 인정범위 해석 같은 판단 요소는 측정 범위 밖입니다 — 서류·수치·확약 수준의 검증만 측정했습니다.
결함 라벨이 45개라, 95% 근처 정밀도의 1~2%p 차이는 통계적으로 판별할 수 없습니다.
채점과 미탐 규명을 사람 도메인 전문가가 아닌 LLM 판정자가 수행했습니다.

나라장터 재측정 — 2026년 8월

위 92.5%·96.5%는 2026년 7월, 선별 골든셋 173항목으로 잰 수치입니다. 영어 측정을 전수 열거 방식 — 문서 전부를, 표의 행 단위까지 — 으로 만들면서 더 가혹한 잣대가 생겼고, 그 잣대를 국내에도 적용했습니다. 같은 공고 3건의 전 문서를 전수 열거한 2,013항목 정답지(동결본, 무효로 판명된 28항목을 뺀 유효 분모 1,985항목)로, 공고당 671항목입니다(종전 분모의 약 12배).

이 잣대에서 최초 측정은 73.5%였습니다. 낮은 숫자를 그대로 공개한 뒤, 미검출 분류가 가리킨 개선 — 과업지시서 본문의 지시문을 문단으로 뭉치지 않고 문장 하나를 요구조건 하나로 추출 — 을 적용해 같은 동결 정답지로 재채점한 결과가 87.4%, 중대 항목은 92.0%입니다. 미검출은 525건에서 250건으로 줄었습니다.

종전 선별 173항목 잣대로도 개선된 추출기를 다시 채점했습니다: 토큰 매칭만으로 95.4%로, 회귀 없이 함께 올랐습니다. 다만 대표 수치는 전수 87.4%를 씁니다 — 영어 수치와 같은 잣대라 비교가 성립하고, 더 가혹한 분모를 앞세우는 편이 정직하기 때문입니다.

영어(미 연방 · SAM.gov) 측정

영어 공고도 같은 방식으로 쟀습니다 — 2026년 8월.

"영어 정식 골든셋 준비 중" 상태를 끝냈습니다. 현재 게시 중인 SAM.gov 공고 4건의 문서 31개 전부(첨부·개정·가격표·임금결정서 포함)를 전수 열거한 골든셋으로, 국내와 같은 블라인드 규약 — 정답지를 추출기 실행 전에 동결 — 아래 측정했습니다.

93.2%: 요구조건 추출 재현율 — 전수 골든셋 1,481항목 (4공고 전 문서). 같은 동결 잣대 위의 여정: 85.3% → 91.9% → 93.2% (개선 2라운드)
97.0%: 중대 항목 재현율 — 누락 시 무효·배제급 요구 888항목 (개선 라운드 전 91.7%)
14 / 19: 영어 적대적 판정 벤치마크에서 검출한 심은 결함 — 그중 11건은 확정 등급
103 / 103: 판정 3표 만장일치 실행(2026-08-04)에서 확정 지적 전건 정탐 — 오탐 0. 그 전 2표 실행은 개정 대체 처리 도입 후 112 / 112

이 93.2%와 국내 87.4%는 같은 시험지의 점수입니다 — 두 골든셋 모두 문서 전부를 전수 열거했습니다(공고당 영어 370항목, 국내 671항목). 영어가 앞서 있는 이유는 이 잣대 위에서 개선 2라운드를 거쳤고 국내는 1라운드를 막 마쳤기 때문입니다. 종전에 국내로 공표하던 92.5%는 더 쉬운 선별 잣대의 점수라 이 수치와 나란히 두지 않습니다.

미검출 분류 공개는 의도한 그대로 — 두 번 — 작동했습니다. 1라운드가 조항 참조 규칙을 고쳤고(미검출 218 → 120), 2라운드가 옵션연차 가격 행을 고쳤습니다(120 → 101, 가격행 13 → 3). 남은 101건도 분류해 공개합니다: 본문 산재 내용 요구 67건 — 한 가지 규칙으로 고칠 수 없는 롱테일 — 과 서식·제출 25건, 기타 9건. 접지율 97.0~99.3%.

판정은 실제 주한미군 공고(오산기지 51의료전대 멸균기 유지보수) 위에 결함 19종을 심은 합성 응찰 팩 8종으로 쟀습니다 — 정답이 구성상 확정된 시험입니다. 검출 14건 중 11건이 확정 등급이었고, 탐지 회피를 의도한 최고 난도 6종에서는 3건을 잡았습니다.

판정이 못 잡은 5건 (전건 규명)

말로 풀어 쓴 총액("one hundred forty-one thousand …") — 금액 검산이 숫자 표기만 파싱
72시간 보고 확약 뒤 괄호로 "5영업일"을 병기한 조용한 완화
PM 대상을 "사용 중 장비"로 재정의한 범위 축소
SAM 등록을 "갱신 진행 중"으로 서술
송장 시스템 오인(IPP↔WAWF) — 해당 조항이 이행 조건으로 분류돼 응찰 대조 밖에 있는 알려진 갭

영어 판정 정밀도: 최신 벤치마크 실행에서 확정 등급 지적 103건 전건 정탐 — 오탐 0, 결함 재현 14/19. 요동에 대해서도 재봤습니다: 같은 입력을 여러 번 판정하면 검출이 흔들립니다(2표 구성에서 표준편차 0.69). 그래서 판정 표수를 2에서 3으로 올리고 만장일치 규칙을 유지했습니다 — 과반으로 바꾸면 확정 지적은 늘지만 오탐도 함께 늘어, 이 페이지가 말하는 정밀도를 깎기 때문입니다. 다만 요동이 실제로 줄었는지는 여러 번 돌려야 보이는 값이라, 지금 말할 수 있는 것은 표수를 올린 뒤에도 재현과 오탐이 나빠지지 않았다는 것까지입니다.
정답지는 독립 프롬프트·독립 모델의 전수 라벨링을 판독자가 병합·감사해 동결했고, 미검출은 전건 개별 판독을 거쳤습니다 — 절차 전문은 리포지터리의 측정 문서에 있습니다.
이 수치 역시 벤치마크 성능이며, 귀하의 실제 서류에 대한 보장이 아닙니다.

이 파이프라인이 만드는 리포트도 공개돼 있습니다 — 보내시기 전에 먼저 읽어보세요.

샘플 리포트 읽기 →검증 신청 →