용어 사전, 2026-10-08 기준
용어 사전
이 기록에 나오는 용어 35개를 한 줄씩 풀었습니다. Jev의 요청과 답, 개념, 운영 장치, 측정 방법, 검색의 다섯 묶음입니다.
RequestJev의 요청과 답
- Choice
- 정해 둔 선택지(최대 255개) 가운데 하나와 선택지별 확률을 돌려주는 판단 형태입니다. 마지막 선택지로 "해당 없음"이나 보류를 두고, 선택지 순서에 민감해(87분류 역순 뒤집힘 29/109) 큰 Choice는 정순과 역순으로 두 번 묻습니다. 검색 후보 재선택, 87분류, 프로젝트 라우팅, 방문자 질문 라우팅이 이 형태입니다.
- Noul
- 예 또는 아니오에 대해 0~1 사이 값 하나를 돌려주는 판단 형태이며, confidence 필드가 없습니다. 검색 후보마다 "남길까"를 물어 유지 집합을 만들 때 씁니다(컷 0.3 초과, 과제별 상수). Choice나 Score용 게이트를 Noul에 씌우지 않습니다.
- Score
- 순서 있는 2~10단계 가운데 어디쯤인지를 단계별 확률과 가중 값으로 돌려주는 판단 형태입니다. 채점 재현(confidence 0.7 이상 구간에서 사람 채점과 37/38 일치)과 분류기의 완성도 카드가 이 형태입니다. 단계 확률을 평균 내 점수처럼 쓰지 않고, 상위 두 단계가 동률이면 보류합니다.
- State
- Jev가 읽고 판단할 근거 전부로, 코드가 필요한 필드만 골라 텍스트로 조립합니다.
- Criteria
- 허용되는 답의 목록과 그 뜻으로, 조직의 정책을 문장으로 적는 자리입니다.
- confidence
- 확률 분포에서 공급사가 계산해 붙이는 요약 값이며, 정확도나 보정된 신뢰도와는 다른 것입니다. 같은 0.7 컷이 채점 재현에서는 97.4%, 87분류에서는 61.5%였습니다. 행동 허가로 쓰지 않고, 운영 지표는 보류율과 사람 큐 길이로 둡니다.
Concepts개념
- System One 모델
- TypeSafe가 쓰는 범주 이름으로, 문장을 생성하지 않고 코드가 바로 소비하는 빠르고 형식이 정해진 확률 판단을 돌려주는 모델을 뜻합니다. Jev가 첫 사례이며, 성능 주장과 범주 정의는 따로 읽습니다.
- 4층 프레임
- 판단 하나를 코드와 규칙, Jev, 생성 LLM, 사람 네 층 가운데 가장 싼 층에 배정하는 틀입니다. 날짜·개수·권한은 코드, 닫힌 답 집합의 단일 판단은 Jev, 문장과 후보 생성은 생성 모델, 정책과 골드와 승인은 사람입니다. 시스템
- 캐스케이드confidence-gated cascade
- 싼 판정을 먼저 받고 확신하면 수용, 아니면 더 비싼 모델이나 사람에게 넘기는 정책입니다. 우리 사후 분석에서는 "보류만 넘기기"가 임계값 정책과 같은 43/54를 절반 비용으로 냈고, 운영값이 되려면 새 자료로 전향 검증해야 합니다.
- 보정Brier, ECE
- 확률이 실제 정답률과 맞는지를 재는 것입니다. Brier는 확률과 정답(0/1)의 제곱 오차 평균, ECE는 구간별 평균 확률과 정답률 차이의 가중 평균입니다. 같은 모델이라도 과제마다 모양이 달라(검색 0.103 / 분류 0.197 / 프로젝트 0.093) 컷을 과제 간에 옮기지 않습니다.
- 순환 편향
- 노트의 description에서 질문을 만들고 같은 description을 선택지 설명으로 주면 정확도가 부풀어 보이는 현상입니다. 89.8%(r3)가 본문에서 만든 질문에서 68.5%(r4)가 됐고, 밖에서 인용할 때는 둘을 함께 적습니다.
- 시간 순 held-out
- 절차를 등록한 뒤 새로 생긴 노트로만 검증해, 설계가 맞춘 폴더에서 벗어나도 유지되는지를 보는 분할입니다. 같은 분류 설계가 새 폴더에서 43.1%로 떨어진 것이 이 분할이 필요한 이유입니다.
- 2-of-3 타이브레이크
- 정순과 역순의 1위가 엇갈릴 때 반 바퀴 돌린 세 번째 순서로 한 번 더 물어 다수를 따르는 규칙입니다. 라이브 라우팅에서 첫 일주일 9건에 발동해 2건을 라우팅하고 7건을 보류했으며, 효과는 아직 미측정입니다.
- 형제 카드 분산
- 비슷한 선택지 두세 개에 확률이 쪼개져 어느 것도 컷을 넘지 못하는 현상입니다. 라이브 라우팅의 놓친 보류 8건 중 4건이 이것이었고, 레버는 모델이 아니라 선택지 중복 정리와 가족 합산 뒤 컷입니다.
Ops운영 장치
- PROPOSE
- Jev는 제안만 하고 실행은 코드와 사람이 한다는 이 프로젝트의 판정이자 원칙입니다.
- 판단 영수증receipt
- 한 번의 호출에서 무엇을 보내고 무엇을 받았는지, 어떤 규칙으로 결정했는지를 다시 계산할 수 있게 남긴 기록입니다.
- shadow log
- Jev 제안을 실제로 반영하지 않고 사람의 최종 선택 옆에 같은 행으로 적는 병렬 기록입니다.
- 역순 재질문
- 선택지 순서를 뒤집어 한 번 더 물어 두 답이 같은지 확인하는 검사입니다.
- fail-open, fail-closed
- 실패 시 원래 화면을 그대로 보이는 방식과, 실패 시 행동을 막는 방식입니다.
- 모델 핀
- 요청 모델을 jev-1.13.0으로 고정하고 응답 모델이 다르면 결과를 버리는 규칙입니다.
Method측정 방법
- 사전 등록pre-registration
- 첫 호출 전에 절차와 조건을 고정하고 해시를 남겨, 결과를 본 뒤 규칙을 바꾸지 못하게 하는 방법입니다.
- 봉인한 최종 분할sealed final split
- 임계값을 다 고른 뒤 조건마다 딱 한 번만 여는 시험 표본입니다.
- 새 데이터 재시험fresh-data re-test
- 결과를 보고 세운 가설을 앞 라운드가 쓰지 않은 자료로 다시 재는 절차입니다.
- 블라인드 채점blind grading
- 어느 모델의 답인지 가린 채 미리 잠근 정답 키와 루브릭으로 채점하는 방법입니다.
- 사람 골드human gold
- Jev 답을 보기 전에 사람이 새로 매긴 정답 라벨입니다.
- 기준선baseline
- 같은 항목에서 Jev 없이 코드만으로 낸 결과로, 모든 비교에 함께 붙입니다.
- Wilson 95% 구간
- 표본이 작을 때 비율의 불확실성을 보여 주는 구간입니다.
- 헤드 모델
- 여러 모델의 결과를 종합하는 모델로, 자기 편향이 있어 그 모델의 순위는 독립 순위로 읽지 않습니다.
Search검색
- 음절 구문 BM25
- 한글을 음절 단위로 저장하는 검색 색인에 맞춰 질의를 음절 구문으로 바꾼 키워드 검색입니다.
- 끝단 정확도
- 후보 목록에 정답이 들어간 비율과, 그 안에서 Jev가 정답을 고른 비율을 곱한 최종 정확도입니다.