<|meta|> 블록을 지나며 정답을 향해 얼마나 마음을 바꾸는지(gold−decoy 마진의 이동)를
측정해 그 스팬에 보상한다. 자기 신뢰도를 맞추는 보정(calibration)은 필요조건일 뿐, 행동을 바꾸는 통제는 별개의 문제다.
ctx_open)과 닫는 순간(ctx_close) 사이에서
gold와 decoy 사이 마진이 실제로 얼마나 벌어졌는지를 보상 신호로 삼는다. 그 이동이 곧 "유용한 메타인지"의 증거다.
한 rollout이 <|meta|>…<|/meta|> 블록을 담으면, 얼어붙은 참조 모델로 teacher-forcing 하여
블록 직전과 직후 두 지점에서 gold−decoy 마진을 잰다. 두 마진의 차이(SHIFT)가 신호다.
핵심 세 가지: 스팬-이동(한 지점이 아니라 구간의 변화) · 디코이 대조(정답 확률이 아니라 gold−decoy 판별 마진) ·
메타 지역화(보상을 메타-콘텐츠 토큰에만 라우팅).
자기증류로 추론을 강화하려는 최근 흐름은 대부분 참조 정답의 로그확률을 신호로 삼는다. 우리의 신호도 그 이웃에 있지만, 좌표가 다르다. 각 카드는 그들이 한 일과 우리가 다르게 가는 지점을 짝짓는다.
PMI-shift(gs300)와 메타 기제만 제거한 매치드-베이스(gs300)를 문제-쌍 부트스트랩으로 비교. 이득은 문제가 어려울수록 커진다.
RQ1이 패키지 효과이므로, PMI-shift의 순기여를 격리하려면 아래 arm들을 같은 데이터·하이퍼파라미터·grader로 돌려야 한다. 아직 실행 전이며, 각 단계에 결정 규칙을 미리 못박아 둔다.
모든 비교의 기준선. RQ1에서 이미 확보된 gs300.
메타를 쓰는 것(form)만으로 오르는가, 아니면 신호가 필요한가를 가른다.
PMI-shift 단독의 순효과. 이것이 우리가 주장하고 싶은 핵심 레버.
SHIFT 보상이 진짜 gold−decoy 구조를 잡는지, 아니면 아무 스칼라나 밀어도 오르는지 검정.
held-out 문제를 난이도 사분위(Q1 쉬움 → Q4 어려움)로 나눠 본 층화 분석. 쉬운 두 사분위는 이미 포화(100%), 이득은 뒤로 갈수록 커진다.
메타 arm의 verbalized confidence를 ECE(15-bin)로 측정. 쉬운 벤치는 잘 맞지만 AIME에서는 크게 과신한다. base arm은 0% 메타 → 신뢰도 자체가 없어 비교 불가라는 구조적 비대칭을 정직하게 밝힌다.
모든 수치는 single seed다. avg@8 / AIME avg@16으로 rollout 분산은 줄였지만, 시드 간 재현은 아직 없다. 결론은 예비적이며 다중 시드 확증이 필요하다.
RQ1은 5-head 패키지 vs vanilla GRPO. PMI-shift의 순기여는 RQ2 분해(Gandhi-arm · shift-only · placebo)가 끝나야 주장할 수 있다. 아직 미실행.
SHIFT 보상이 진짜 자각이 아니라 "verify처럼 보이는 상투구"를 밀어올릴 수 있다 — 이는 AntiSD가 진단한 shortcut/deliberation-억제와 같은 실패 클래스다. RQ3의 비선택적 발화(88–96%)가 이 위험의 방증. placebo 검정이 이래서 필수다.
16k에서 base가 ~73% 잘리는 비종료 degeneration을 메타가 완화(→50%)하지만 없애지 못한다. 4k→16k 이득이 평탄하다는 건 더 긴 예산이 답이 아니라는 뜻이다.
수치는 robust math_verify 재채점 기준(이전 broken-grader 수치와 다름)이며 held-out 1030에서 측정. SFT 초기화 버전(v2)과 데이터 구성에 결과가 의존한다.
매치드-베이스 대비 6/6 벤치 우위, 이득의 난이도 집중(Q4 +34.8pp), 그리고 base가 유발한 16k degeneration을 메타가 완화한다는 방향성 — 이 세 가지는 단일 시드 안에서 일관된다.