측정 공개

수치가 어떻게 나왔는지까지 공개합니다.

이 페이지는 나라장터 공고로 잰 측정을 공개합니다. 무엇으로 측정했고, 어떻게 쟀고, 무엇을 못 잡았는지 — 건별로 — 그리고 측정 자체의 한계가 어디인지까지.

87.4%
나라장터 — 요구조건 추출 재현율 (동결 전수 골든셋 2,013항목 중 유효 1,985항목)
96.5%
나라장터 — 판정 확정 지적 정밀도 (지적 건 전수 판정 후)
99.4%
HWP·PDF 표 보존율 — 나라장터 하루치 첨부 500건(2026-09-08), 선호 형식·파싱 오류 제외
측정 규약

정답지는 파이프라인 산출물에 접근이 차단된 상태에서 독립적으로 전수 작성하고, 모든 항목에 원문 그대로의 앵커를 붙여 기계 검증합니다. 정답지는 추출기를 돌리기 전에 커밋으로 동결하며, 채점 후 못 잡은 항목은 전건을 개별 규명합니다 — 미스터리로 남기는 건이 없습니다.

추출기를 고친 뒤에는 그 동결된 정답지로 다시 채점합니다. 그래서 이 페이지의 개선 전후 수치는 같은 시험지 위의 점수이지, 분모가 너그러워진 새 시험이 아닙니다.

나라장터 측정

골든셋 구성

실제 게시된 협상에 의한 계약 용역 공고 2건(문서 8개, 표 보존 파싱)이 재료입니다. 판정자가 파이프라인 산출물에 접근이 금지된 상태에서 요구조건 전수를 독립 저작했습니다 — 85항목·88항목, 그중 critical 41개. 정답지가 파이프라인이 우연히 뽑는 것에 맞춰 만들어질 수 없는 구조입니다.

모든 항목에 원문 그대로의 앵커가 붙고, 173개 앵커 전부가 기계 검증을 통과합니다. 표의 행 단위까지 항목에 포함됩니다 — 한국 공고 문서의 핵심은 표에 있기 때문입니다.

추출 측정

단발 추출은 골든셋 대비 재현율 82.1%입니다. 여기에 크리틱 패스 — 1차에서 빠진 요구만 추가로 탐색하는 두 번째 호출 — 를 더하면 92.5%로, 같은 비용의 독립 2표 합집합(88.4%)보다 높습니다. 지금 운영 중인 구성이 이것입니다: 문서당 LLM 호출 +1회.

크리틱은 설계상 과추출합니다. 이는 결정적 접지 계층이 흡수합니다 — 추가된 항목 포함 접지율 100%.

판정 측정

실제 응찰 서류는 정보공개 비공개 대상이라 입수할 수 없습니다. 대신 실공고 3건(실시설계 용역·태양광 설치공사·특수경비 용역, HWP+PDF)에 대해 완전 준수 응찰 패키지를 생성한 뒤, 시드 고정 변이로 라벨이 100% 확실한 결함 45개와 무해 재작성 트랩 15개를 주입해 15개 패키지를 만들었습니다.

검증 페이지의 18 / 19 는 이와 별개의 시험입니다 — 적대 코퍼스: 교묘한 결함 19종을 심은 패키지와 클린 팩 2종(오탐 측정)으로, 프롬프트나 모델을 바꿀 때마다 다시 돌리는 회귀 벤치마크입니다. 최근 국내 실행(2026-08-06)에서 19종 중 18종을 검출했고 그중 17건이 확정 등급입니다. 아래 주입 결함 45개와는 코퍼스·결함 세트가 다르므로 두 수치를 서로 비교하지 마십시오.

고확신(machine-certain) 정밀도는 지적 건 전수 판정 후 96.5%. 결정적 계층은 문서 누락·식별자 변조·총액 변조를 LLM 개입 없이 전건 검출했습니다.

못 잡은 것

미탐은 전건을 개별 규명했습니다 — 미스터리로 남긴 건이 없습니다. 주입 결함 45개 중 판정 계층이 놓친 9건:

함께 공개합니다: 무해 재작성 트랩 15건 중 2건에 “부분 충족” 오탐이 있었고, 추출 잔여 미검출은 제안서 목차 표 안의 작성 지시 항목 같은 경계 사례에 몰려 있습니다.

재실행 안정성

15개 패키지 전부를 독립적으로 2회 검증했습니다. 최종 차단/통과 판정은 15/15 동일. 런 사이에 흔들리는 것은 “이 확약이 충분히 강한가” 같은 경계 등급에 국한되며, 결함에 대응하는 핵심 판정(문서 누락, 식별자·총액 불일치, 요구 누락)은 흔들리지 않았습니다.

무엇이 다른가 — 범용 도구·프로필 대조 방식 대비

제휴사·감리 담당자용 비교입니다. 특정 업체가 아니라 범용 문서 도구와 "프로필 대 기준" 방식과 견줍니다.

HWP·PDF 표 추출표 셀 85~87%를 버림(공고문 214건 실측)표 보존 99.4%(하루치 첨부 500건)
무엇을 판정하나회사 프로필 대 심사 기준제출 서류 대 공고의 요구조건 항목 하나하나
확신모델 답 한 번같은 질문을 세 번 따로 물어 답이 모두 같고 + 원문 인용 접지, 하나라도 빠지면 검토 권고
전달 전—자동 검사 7종 통과 뒤 전달
여기서 못 재는 것—평가 배점, 수행 해석, 실제 응찰 제안서(패키지는 합성)

이 표의 수치는 위 절들과 같은 잣대이며, 각각 측정 페이지나 노트가 따로 있습니다. 토크나이저 측정 재현 (공개 저장소) →

측정의 한계
나라장터 재측정 — 2026년 8월

위 92.5%·96.5%는 2026년 7월, 선별 골든셋 173항목으로 잰 수치입니다. 그 뒤 더 가혹한 잣대 — 문서 전부를, 표의 행 단위까지 전수 열거 — 를 만들어 다시 쟀습니다. 같은 공고 3건의 전 문서를 전수 열거한 2,013항목 정답지(동결본, 무효로 판명된 28항목을 뺀 유효 분모 1,985항목)로, 공고당 671항목입니다(종전 분모의 약 12배).

이 잣대에서 최초 측정은 73.5%였습니다. 낮은 숫자를 그대로 공개한 뒤, 미검출 분류가 가리킨 개선 — 과업지시서 본문의 지시문을 문단으로 뭉치지 않고 문장 하나를 요구조건 하나로 추출 — 을 적용해 같은 동결 정답지로 재채점한 결과가 87.4%, 중대 항목은 92.0%입니다. 미검출은 525건에서 250건으로 줄었습니다.

종전 선별 173항목 잣대로도 개선된 추출기를 다시 채점했습니다: 토큰 매칭만으로 95.4%로, 회귀 없이 함께 올랐습니다. 다만 대표 수치는 전수 87.4%를 씁니다 — 더 가혹한 분모를 앞세우는 편이 정직하기 때문입니다.

이 파이프라인이 만드는 리포트도 공개돼 있습니다 — 보내시기 전에 먼저 읽어보세요.