실험 히스토리 · RQ3 matched ladder
2026-07-12

4-arm 인과 설계, pmi-shift 격리의 실패와 정정

PRELIMINARY · single seed Qwen3-8B-Base in-training val · 594
한 줄 요약. 메타-SFT 효과(RQ1)는 4개 매칭점에서 견고하게 +0.15→+0.19로 커졌다. 그러나 pmi-shift 격리를 위해 보상 head를 스트립한 B3가 held-out을 −0.120까지 악화시켰고, 원인은 SFT가 아니라 RL 중 메타 형식 붕괴(wellformed 0.43→0.02)로 밝혀졌다. 예전 T1-승리 레시피(풀 패키지)로 정정하고, pmi 순수 기여를 격리하는 4-arm 설계로 재구성했다.
RQ1 · 메타-SFT 효과

메타-SFT가 no-meta 베이스라인을 전 과목에서 이긴다

B0(gold no-meta SFT + vanilla GRPO)와 B2(meta SFT + vanilla GRPO)는 보상 경로가 동일하고 오직 SFT 초기화만 다르다. 매칭 held-out(무가중 9개 데이터셋 평균)에서 B2가 B0을 네 점 모두 앞서고, 격차는 학습이 진행되며 커진다.

RQ1 held-out accuracy B0 vs B2
held-out acc — B2(meta) 0.582→0.673, B0(baseline) 0.431→0.468. RQ1 = B2−B0 = +0.151 / +0.164 / +0.189 / +0.194 (gs25/50/75/100), 9개 데이터셋 전부 양성.
RQ2 · 실패

“깔끔한 격리”가 held-out을 뒤집었다

RQ2(pmi-shift 효과)를 순수 격리한다며 B3의 보상에서 w_format·w_emit· w_cal·len_cost·trunc_open_penalty 다섯 head를 0으로 껐다. 결과, held-out RQ2가 +0.042(gs25)에서 −0.120(gs75)으로 뒤집혔다 — B3가 9개 데이터셋 전부에서 저하.

RQ2 flip from +0.042 to -0.120
RQ2 = B3−B2 held-out Δ. gs25 +0.042 → gs75 −0.120.
왜? 처음엔 pmi-shift가 “나쁜” 줄 알았으나, 실제 응답과 지표를 보니 pmi-shift가 base에서 불발이었다. base 메타가 malformed(gs75 wellformed ~2%)라 pmi가 계산할 belief-shift가 없어 n_save→0, rmeta→0.
진단 · 수치로 확정

SFT는 정상, RL이 메타 형식을 파괴했다

“SFT가 못 한 것 아닌가”를 추이로 검증했다. dcpo/wellformed_rate는 gs1~30까지 ~0.40으로 안정 (정점 0.426@gs30)이었고, gs40부터 붕괴해 gs75에 0.016까지 떨어졌다. 즉 SFT는 제 역할을 했고 RL이 파괴했다. 원인은 region-split이 메타 스팬을 pmi(불발)에만 맡겨 과소지도했기 때문.

wellformed_rate erosion 0.43 to 0.02
메타 형식(wellformed_rate): SFT 직후~gs30 안정(~0.40) → RL 중 붕괴(gs75 0.016). held-out 메타 품질도 +0.089(gs25)→−0.092(gs75)로 동반 하락.
지표예전 성공(instruct)지금 B3(base, pmi-only)
pmishift_attempted0.52–0.660.33→0.08
pmishift n_save8–114→0
rmeta_mean_scored+1.0~1.2~0
wellformed_rate유지0.43→0.02
정정 · 4-arm

풀 패키지 복원 + pmi 순수 격리

정정. B3를 예전 T1-승리 pmishift와 동일한 풀 패키지로 되돌렸다(w_over만 0, 나머지 head는 config 기본값). 스트립한 form 비계(w_format 0.35·trunc 0.3·w_emit 0.1)가 RL 중 메타를 붙잡는 핵심이었다.
arminitcorrectness 라우팅메타 보상역할
B0gold (no-meta)전체 응답없음RQ1 기준
B2meta전체 응답없음RQ1 처치 / RQ2 기준
B3pkgmetaanswer 스팬풀 패키지RQ2 처치(=T1 재현)
B3-noPMImetaanswer 스팬패키지 −pmipmi 순수 격리

분해: RQ1 = B2−B0(메타-SFT) · RQ2(T1 재현) = B3pkg−B2 · RQ2-pmi(순수 격리) = B3pkg−B3-noPMI = pmi-shift belief-shift 보상의 순수 한계 기여(논문 핵심 메커니즘). B3-noPMI는 form 비계를 유지해 붕괴하지 않는다.

교훈

방법론 노트

⚠️ 미확정. 위 수치는 단일 시드·in-training val(594문제)·진행 중이며 gs300 held-out(1030) 최종 판정 전이다. 모든 값 PRELIMINARY.