read-only leaderboard holdout rankedranking eligible

K-TaxBench 리더보드

한국 회계·세무 AI 실무 신뢰도 평가. 순위는 비공개 holdout 평균, 공개셋은 과적합 감시용 보조 지표로 분리합니다. 점수는 점 하나가 아니라 불확실성 밴드(bootstrap 95% CI + judge 교체 민감도)와 함께 읽습니다. 동일 행 안에서 dataset, mode, judge, 측정일을 함께 고정합니다.

Models

Holdout

1107

Public

405

Holdout Leader

claude-opus-4-8

92.2 avg

Latest Run

gpt-5.4-cli

2026-07-04

Spread

45.96

46.26–92.22

flag

discrimination

해석 주의: ① 답안 생성과 채점은 분리되며 현행 행은 `codex-clean-judge:gpt-5.4` judge 핀으로 통일했습니다. 다중 judge 교차검증(M12) 결과 순위 경향은 안정적이지만 절대점수는 judge 핀에 의존합니다(같은 벤더 r=0.930/0.941, 벤더 교차 r=0.778) — 절대점수는 judge metadata와 함께 읽어야 합니다. ② `gpt-5.5`·`gpt-5.4-cli`·`gpt-5.4-mini`는 302문항 closed-book refresh, 기존 Claude 행은 2026-06-11 구 데이터셋·closed/RAG 혼합·`claude-sonnet-4-6` judge의 legacy 측정이라 직접 비교에 부적합합니다(밴드 차트에 legacy 표기). ③ 현재 검증은 사람 전문가 합의가 아니라 저자 주도 검수 + AI judge 교차검증입니다.

불확실성 밴드 (holdout)

점수를 점 하나가 아니라 구간으로 읽기 — 표본 CI와 judge 교체 민감도를 함께 표시합니다.

holdout 평균bootstrap 95% CI (표본 불확실성)judge-sensitivity band ±6.32legacy (CI·밴드 미산출)

CI = 302문항 holdout 부트스트랩 95% 신뢰구간(표본 불확실성, seed 고정 결정론). 밴드 = judge 교체 시 절대점수 이동폭 실측치 ±6.32 (docs/findings/m12-judge-crosscheck.md, M12). 밴드가 겹치는 모델 간 순위 차이는 judge·표본 노이즈 이내일 수 있습니다 — 절대점수는 judge 핀과 함께 읽어야 합니다.

6/6 모델

모델 랭킹

holdout 기준 순위. 공개셋 점수와 mode breakdown은 비교 조건을 드러내기 위한 보조 정보입니다.

#				등급분포 (holdout)
1	claude-opus-4-8 current leader scaffold v1closed_bookrag측정 2026-06-11judge claude-sonnet-4-6 재현 검증	92.2n=115 +0.8 vs 공개셋 closed_book 93.2rag 91.2	91.4n=86 -0.8 vs holdout closed_book 91.3rag 91.5	A:92 B:16 C:3 D:4
2	gpt-5.5 scaffold v1closed_book측정 2026-06-26judge codex-clean-judge:gpt-5.4302-question closed-book refresh 재현 검증	88.5n=253 -3.9 vs 공개셋 closed_book 88.5	92.3n=49 +3.9 vs holdout closed_book 92.3	A:157 B:61 C:22 D:13
3	claude-sonnet-4-6 scaffold v1closed_bookrag측정 2026-06-11judge claude-sonnet-4-6 재현 검증	85.3n=59 -2.2 vs 공개셋 closed_book 84.2rag 86.2	87.4n=60 +2.2 vs holdout closed_book 85.2rag 89.6	A:40 B:11 C:2 D:6
4	gpt-5.4-cli scaffold v1closed_book측정 2026-07-04judge codex-clean-judge:gpt-5.4302-question closed-book refresh 재현 검증	79.3n=253 -6.8 vs 공개셋 closed_book 79.3	86.1n=49 +6.8 vs holdout closed_book 86.1	A:105 B:62 C:48 D:38
5	gpt-5.4-mini scaffold v1closed_book측정 2026-07-03judge codex-clean-judge:gpt-5.4302-question closed-book refresh 재현 검증	74.5n=253 -5.4 vs 공개셋 closed_book 74.5	79.9n=49 +5.4 vs holdout closed_book 79.9	A:89 B:64 C:42 D:58
6	claude-haiku-4-5 scaffold v1closed_bookrag측정 2026-06-11judge claude-sonnet-4-6 재현 검증	46.3n=85 -8.5 vs 공개셋 closed_book 31.9rag 61.0	54.8n=61 +8.5 vs holdout closed_book 45.4rag 64.5	A:15 B:13 C:7 D:50

차원별 평균 (holdout)

7차원 루브릭 — 어느 축이 약한지(환각·계산·근거).

모델	calculation_or_process	clarity	conclusion_accuracy	deliverable_quality	fact_handling	legal_basis	practicality	risk_handling	tool_process
claude-opus-4-8	19.2	4.9	20.6	14.2	10.6	21.3	14.4	11.8	16.9
gpt-5.5	22.1	4.8	20.4	13.8	11.0	19.3	13.8	11.4	8.1
claude-sonnet-4-6	14.1	4.7	19.1	13.0	10.1	22.4	14.0	11.8	11.5
gpt-5.4-cli	20.7	4.5	18.4	11.9	10.2	17.0	12.3	9.9	5.2
gpt-5.4-mini	19.6	4.5	17.4	10.8	9.9	15.3	11.8	9.1	4.1
claude-haiku-4-5	9.3	4.1	13.3	8.6	7.9	11.6	10.8	7.9	7.3

분야별 평균 (holdout)

도메인 칩을 눌러 컬럼을 켜고 끌 수 있음.

모델	accounting	basic_tax_law	corp_tax	income_tax	mixed	vat
claude-opus-4-8	90.1	97.4	91.3	93.4	93.3	90.5
gpt-5.5	93.0	92.6	86.2	90.3	80.0	87.9
claude-sonnet-4-6	92.6	75.9	83.9	88.8	–	86.1
gpt-5.4-cli	91.7	83.7	70.5	82.4	77.4	76.2
gpt-5.4-mini	88.9	79.3	66.6	75.8	67.2	72.5
claude-haiku-4-5	81.0	32.6	45.8	47.0	23.1	34.6

대표 오류 사례

공개셋은 문항 id 노출, holdout은 type별 카운트만(문항 비공개 — 해자 보호).

공개셋 (id 표시)

hallucinationktb-vat-0001· claude-haiku-4-5/closed_book — fake_source
hallucinationktb-vat-0002· claude-haiku-4-5/closed_book — ignore_time_basis, fake_source
hallucinationktb-vat-0002· claude-haiku-4-5/rag — fake_source, assert_without_source
hallucinationktb-corp-tax-0001· claude-haiku-4-5/closed_book — fake_source, assert_without_source
hallucinationktb-corp-tax-0001· claude-haiku-4-5/rag — fake_source, assert_without_source
hallucinationktb-income-tax-0002· claude-haiku-4-5/closed_book — fake_source
hallucinationktb-basic-tax-law-0001· claude-haiku-4-5/closed_book — unverified_citation:제27조, assert_without_source, fake_source
citation_errorktb-basic-tax-law-0001· claude-haiku-4-5/closed_book — 근거 조문 불일치(0점)
hallucinationktb-basic-tax-law-0001· claude-haiku-4-5/rag — unverified_citation:제119조, unverified_citation:제47조, fake_source, assert_without_source
hallucinationktb-mixed-0001· claude-haiku-4-5/closed_book — fake_source
hallucinationktb-mixed-0001· claude-haiku-4-5/rag — assert_without_source, fake_source
hallucinationktb-vat-0003· claude-haiku-4-5/closed_book — threshold_swap, fake_source, assert_without_source

holdout (집계 카운트)

calc_error 7건
citation_error 26건
hallucination 177건

제출·운영 정책 (ADR 0009)

순위는 holdout으로만 — 공개셋(연습용) 점수는 별도 표기. 두 값의 격차로 과적합을 가시화.
버전핀 동결·append-only — 제출은 model·날짜·scaffold·mode 동결. 재제출은 새 행(덮어쓰기 금지) → 재시도 best-pick 차단.
철회 불가 — 게시 결과는 내릴 수 없고 supersede 행으로만 정정. 손실 표본 은폐 차단.
재현 검증 등재 — 버전핀으로 재실행 재현된 결과만 등재 (self-report 금지, judge=비self).
holdout 문항 비공개 — 본문·정답·문항 id 미노출(집계값만). 채점셋 해자 보호.