Skip to content

data(review): Intent 경계 사례 A/B 독립 검수팩 추가 - #31

Draft
hywznn wants to merge 10 commits into
mainfrom
agent/intent-boundary-review-candidates
Draft

data(review): Intent 경계 사례 A/B 독립 검수팩 추가#31
hywznn wants to merge 10 commits into
mainfrom
agent/intent-boundary-review-candidates

Conversation

@hywznn

@hywznn hywznn commented Jul 27, 2026

Copy link
Copy Markdown
Collaborator

목적

PR #29의 Intent 라벨 규칙 v1.1이 승인된다고 가정하고, 1,340건 전체 중 우선 합의가 필요한 경계 사례만 A/B 독립 검수할 수 있는 CSV를 추가합니다.

Depends on #29
Refs #30

스택 PR 전략

  • 현재 base: agent/intent-label-boundary-v1-1
  • PR #29가 main에 머지되면 이 PR의 base를 main으로 변경
  • 이번 PR diff에는 검수팩 관련 9개 파일만 포함

변경 내용

  • Reviewer A용·B용 CSV를 별도 생성
    • 후보 361건
    • HIGH 242건 / MEDIUM 119건
  • 후보 선정 규칙
    • 급여계좌 61건
    • 휴가·연차·병가 52건
    • 완료·상태 보고 73건
    • 외부기관 실행 표현 123건
    • evidence 24자 이상 100건
    • 중복 Flag 허용
  • A/B 독립 검수 절차와 입력 필드 문서화
  • 원본·출력 row count와 SHA-256 manifest 추가
  • 후보 재현, A/B 정렬·현재 라벨 동일성, 제안 JSON, 개인정보 패턴 검증 추가

Reviewer A 진행 상황

  • 361건 검수 완료
    • KEEP 210건
    • CHANGE 125건
    • NEEDS_DISCUSSION 26건
    • EXCLUDE 0건
  • Reviewer B 파일은 독립 검수를 위해 미작성 상태 유지
  • manifest에 Reviewer A 완료 상태, 판정 수, 새 SHA-256 반영
  • A 완료/B 미완료 상태를 검증하도록 테스트 갱신

이번 PR에서 하지 않는 일

  • Reviewer A 제안 결과를 원본 1,340건 Intent/evidence에 바로 반영
  • A/B 결과 합의 및 합의 데이터 생성
  • Train/Validation/Test 확정 분할
  • 모델·서버 구현

검증

  • Ruff format/check 통과
  • Intent 검수팩 validator 통과
  • A 완료/B 미완료 정렬 테스트 통과
  • git diff --check 통과
  • GitHub Actions title, validate 통과

@hywznn

hywznn commented Jul 27, 2026

Copy link
Copy Markdown
Collaborator Author

검수하는 것은 현재 붙어 있는 Intent와 evidence가 규칙 v1.1에 맞는지

  1. Intent가 맞는가
    예: 급여계좌 개설을 PAYROLL_EXPLANATION으로 분류한 것이 맞는지 확인
    evidence가 적절한가원문에 정확히 존재하는지
    Intent 판단에 필요한 최소 문구인지
    외부기관 실행 표현까지 불필요하게 포함하지 않았는지

  2. 경계 규칙에 맞는가급여계좌: PAYROLL_EXPLANATION인지, WORKER_ONBOARDING인지
    휴가·연차·병가: WORK_INSTRUCTION, EMPLOYMENT_CHANGE, OUT_OF_SCOPE 중 무엇인지
    완료 보고: 새 요청이 없는 단순 완료 보고라면 OUT_OF_SCOPE인지
    접수·신고: 업무 Intent는 유지하되 실제 외부 실행은 Guardrail로 차단해야 하는지
    긴 evidence: 더 짧게 줄일 수 있는지

  3. 검수자는 각 행에 다음 중 하나를 입력하기
    KEEP: 현재 Intent와 evidence 유지
    CHANGE: 수정 필요
    EXCLUDE: 학습 데이터에서 제외
    NEEDS_DISCUSSION: 혼자 판단하기 어려워 합의 필요

=>CHANGE를 선택하면 proposed_intents_json에 수정안을 작성하고, review_note에 이유 적기

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants