조사와 연구, 한 쪽에

01 DefinitionJev는 무엇인가, 무엇이 아닌가

Jev는 TypeSafe가 2026-09-15에 공개한 System One 모델입니다. 문장을 생성하지 않고, 코드가 조립해 준 근거(state)와 허용되는 답의 목록(criteria)을 받아 닫힌 답 집합에 대한 확률만 돌려줍니다. 요청 한 번에 독립 질문 여러 개를 묶을 수 있고, 질문 형태는 셋뿐입니다.

// 한 호출의 모양 (필드 이름은 공개 명세, 값은 예시)
POST /v1/systemone
{
  "model": "jev-1.13.0",                       // 모델 핀. 응답 모델이 다르면 결과를 버린다
  "state": { "title": "…", "text": "…(1,200자 안)" },   // 코드가 고른 필드만, 개인정보 필터 뒤
  "questions": {
    "cmds":  { "type": "choice", "instructions": "…형식이 분명하면 주제보다 형식을 먼저…",
               "options": { "601 …": "정의 문장", "620 …": "정의 문장", "보류": "근거 부족" } },
    "keep":  { "type": "noul",   "instructions": "이 후보가 질의가 찾는 바로 그 노트인가?" },
    "grade": { "type": "score",  "steps": ["오답", "부분", "일치"] }
  }
}
// 응답: 질문마다 확률. 실행은 없다. 코드가 argmax를 다시 계산하고 보류 규칙을 적용한다.

confidence는 무엇이고 무엇이 아닌가

confidence는 확률 분포에서 공급사가 계산해 붙이는 요약 값입니다. 정확도도, 보정된 신뢰도도 아닙니다. 같은 "0.7 이상" 컷이 채점 재현에서는 37/38(97.4%), 87분류에서는 8/13(61.5%)이었고, 검색 재선택에서는 0.70 위 32건이 전부 정답이었지만 프로젝트 라우팅의 유일한 오답은 0.97이었습니다. 그래서 이 프로젝트의 운영 지표는 confidence가 아니라 보류율과 사람 큐 길이이고, 컷은 과제별 표본에서만 고릅니다.

무엇이 아닌가

• 생성 모델이 아닙니다. 문장, 요약, 코드, 후보 목록을 만들지 않습니다. 후보는 코드와 검색이, 문장은 생성 모델이 만듭니다.
• 검색 엔진이 아닙니다. 후보 15~20개 중에서 고를 뿐, 후보 밖의 정답은 찾지 못합니다. 끝단 정확도는 후보 재현율을 넘을 수 없습니다.
• 부재를 판정하지 못합니다. "찾는 노트가 없다"는 답은 30건 중 10건만 맞았습니다. 부재는 코드 규칙과 사람이 다룹니다.
• 실행 주체가 아닙니다. 병합, 이동, 삭제, 발행, 발송, 노출은 Jev 성능과 무관하게 코드와 사람이 합니다. 이것이 판정 PROPOSE입니다.
• 다단 추론을 하지 않습니다. 여러 노트를 모아야 답이 되는 합성형 질문은 유지 집합 재현율 0.583에서 멈췄습니다.

실측에서 확인한 약점 9종과 대응 규칙

약점은 공급사 문서가 아니라 09-24~09-28 실측에서 확인한 것입니다. 숫자는 각 라운드의 분모 그대로입니다.

02 Survey조사: 공개 자료로 안 것

2026-09-20 AI 조사 세션 7개(결과가 나온 5개)로 공개 자료를 모아 첫 판정을 세웠습니다. 판정은 PROPOSE, PoC는 미실행이었습니다.

03 Logic논리검증: 열다섯 편의 보고서

실측 전에 같은 패킷(사실 원장, 논리 문항, 설계 과제)을 여러 모델에 주고, 정답 키와 위반 목록을 먼저 잠근 뒤 블라인드로 채점했습니다. 모델 합의는 증거가 아니라 가설입니다.

• 2026-09-24, 7모델. 밴드 A 다섯(Claude Opus 5.5 94.0, GPT-6 Astra 92.4, Claude Fable 5.1 91.6, Grok 4.7 91.5, GPT-6 Sol 91.4), 밴드 B·C 둘. 산출은 4층 프레임(코드와 규칙 / Jev / 생성 LLM / 사람)과 23행 활용 포트폴리오.
• 2026-09-26, 8모델. "지식 입력과 검색에서의 Jev" 패킷. 상위 셋(Grok 4.7 89.4, Claude Opus 5.5 88.6, GPT-6 Sol 87.2)은 2.2점 안이라 동률. 여덟 모델
• 합의가 실측에서 틀린 자리. 7모델 전원이 제안한 "코드로 후보를 압축한 뒤 Jev에게"는 분류에서 손해였고(압축 top-12 recall 68.1%), "frontmatter 규칙표를 먼저"는 새 폴더에서 무너졌습니다(1/27). 검색에서는 압축이 맞았습니다. 그래서 설계는 작업마다 다릅니다.
• 3모델 계획 라운드(2026-09-25). 아이디어 64행을 익명 패킷으로 세 모델이 독립 기획하고 교차 검토했습니다. 판정 분포는 지금 20, 단기 데모 4, 다음 물결 15, 보류 20, 기각 5. 계획 v2 공개판

04 Measured실측: 지식관리 작업별 현 위치

네 라운드(r1~r3 2026-09-26, r4 2026-09-28) 모두 첫 호출 전에 절차와 합격선을 등록했고, 보류·후보 밖·오류는 실패로 셌습니다. 정답은 볼트에 이미 적힌 분류·위치 또는 노트 본문에서 만든 질문의 표적입니다. 사람 골드는 0건이라 어떤 행도 "조건부"를 넘지 않습니다.

읽는 법 셋. 1~3번만 쓸모에 가깝고 나머지는 제안 또는 미측정입니다. 7번의 75.8%는 정의를 넣고 지시를 다듬은 뒤의 수치이고 새 폴더에서 43.1%라 일반화는 미입증입니다. 1번의 이전 수치 89.8%는 description에서 질문을 만든 순환 편향이 끼어 있어 본문 질문 68.5%와 반드시 함께 적습니다. 라운드별 상세는 결과, 사례는 사례.

05 Paper논문 대조: Li 2026 JEV-as-a-Judge

TypeSafe 공저 논문 JEV-as-a-Judge: Accept When Confident, Escalate When Unsure(Li, Miao, Krishnan, Padman, 2026)는 judge 워크로드의 오프라인 비교입니다. 우리 실측은 노트 라우팅·검색의 shadow 재현이라 숫자를 옮길 수는 없지만, 같은 모양의 결론이 양쪽에서 나왔는지는 볼 수 있습니다. 공급사 공저라 독립 외부 평가는 아닙니다.

논문 구간은 source-cluster bootstrap 95%, 우리 구간은 Wilson 95%입니다. 논문 요약문의 "완벽하게 보존", "스스로 안다"는 표현은 채택하지 않습니다. 원문 수치는 상대 유지율과 사용 비용 비율이지 절대 정답률·절약률이 아닙니다.

06 Post hoc사후 분석: 영수증만으로 다시 계산한 것

2026-10-08, r4의 호출 영수증(항목별 선택 확률, 정답 여부, 싼 생성 모델 Gemini 3.8 Flash의 같은 후보 선택)으로 새 호출 없이 보정과 캐스케이드를 계산했습니다. 전부 사후 분석이라 운영 임계값이 아닙니다.

보정: 확률은 얼마나 믿을 만한가

확률은 정순 1위 확률, 정답은 1위 경로가 표적인가입니다. 같은 모델, 같은 날의 세 과제에서 보정 모양이 전부 다릅니다. 구간 n이 작아 ECE는 서술용입니다.

Jev와 Flash는 어디서 갈리나 (검색 재선택 54건)

합집합은 44/54(81.5%)입니다. Jev가 제안한 41건 안에서는 둘 다 37/41로 같고, Jev가 보류한 13건에서 Flash는 6/13, Jev의 강제 1위는 4/13입니다. Jev의 보류는 어려운 항목을 거의 정확히 골라냈고, Flash의 우위는 그 어려운 쪽에서 몇 건 더 맞힌 데서 옵니다.

캐스케이드: 확신하면 Jev, 아니면 Flash

비용 가정: 항목당 Jev 3호출 $0.00024는 항상, 이관된 항목만 Flash $0.00099. 임계값 0.55~0.95 전 구간이 43/54로 평탄하고 0.70에서만 44/54(Flash 대비 +1.9%p [0.0, 5.6])입니다. 같은 수를 무작위로 이관하면 77%쯤이라, 이관 신호는 무작위보다는 낫습니다.

07 Live라이브 집계: ask.cmdspace.work

ask.cmdspace.work는 방문자의 질문을 전부 기록하고, 이미 발행한 자료 카드 가운데 맞는 것이 있으면 Jev가 고르고 생성 모델이 그 카드 설명에만 근거해 안내문을 씁니다. Jev가 하는 일은 닫힌 선택이고 실행은 없습니다. 2026-10-01 개통 뒤 첫 일주일의 집계입니다. 질문 원문은 공개하지 않습니다.

어시스턴트가 질문과 카드를 대조한 감사(사람 골드가 아닙니다)에서 라우팅 26건은 그럴듯 24, 불명 2, 틀림 0이었습니다. 보류 29건은 정당(맞는 카드 없음) 13, 놓침(있는 카드) 8, 판단 불가 8이었고, 놓침 8건의 원인은 셋입니다. 어휘 숏리스트(8장) 단계에서 정답 카드가 Jev에게 가지 않은 2건, 비슷한 카드 두세 장에 확률이 쪼개져 0.5 컷에 0.003~0.07 차이로 못 미친 4건, 세 번째 순서 도입 전의 순서 불일치와 저확신 각 1건. 레버는 모델이 아니라 카드 중복 정리와 컷입니다. "여기 없음" 20건 중 13건이 정당했다는 점은 부재 판정 STOP과 어긋나지 않습니다. 이 서비스는 "없음"을 답이 아니라 보류 신호로만 쓰고 사람에게 넘기기 때문입니다.

08 Rules설계 규칙 22

앞 12개는 2026-09-25 계획 v2의 원칙, 뒤 10개는 네 라운드와 라이브 운영이 더한 규칙입니다.

1. 판단은 Jev가 제안하고 실행은 코드와 사람이 한다. 좋은 결과가 바꾸는 것은 제안이 보이는 범위와 검토 순서뿐이다.
2. PROPOSE를 유지한다.
3. 라벨링 인력을 확보하지 못하면 HOLD한다. 정식 PoC는 사람 골드가 있어야 열린다.
4. 정답은 사람이 만든다. 멀티모델 합의는 정답이 아니다.
5. 상시 호출하지 않고, Jev는 코드가 직접 부른다. 게이트는 후보 풀이 클 때만 연다.
6. 컷은 모양을 가져오고 상수는 가져오지 않는다. 같은 0.7이 97.4%와 61.5%였다.
7. 경계 동률은 보류다. 0.60이 0.6 게이트를 통과한 사고에서 왔다.
8. Noul에는 confidence가 없다. 세 척도를 섞지 않는다.
9. 전송 검사는 조립된 최종 payload에서 한다. 공개 화면에는 두 번째 경계를 둔다. API로 보내도 되는 자료가 곧 공개해도 되는 자료는 아니다.
10. Jev 없는 기준선을 모든 비교에 남긴다. 코드와 검색만으로 더 낫다면 그것이 운영안이다.
11. 보류는 공짜가 아니다. 보류 건당 사람 검토 시간을 비용에 넣는다.
12. 요청 크기 이중 상한을 코드가 먼저 잰다. 요청 전체와 개별 판단.
13. criteria는 주제 설명이 아니라 관찰 가능한 판별문이다. 형식·주제·제외·예시 네 요소. 빈 정의 14개를 채우고 "형식이 분명하면 주제보다 형식을 먼저"를 넣자 24/120에서 91/120이 됐다.
14. 후보 압축은 검색에만 쓰고 분류에는 쓰지 않는다. 분류는 87 전체 + 정의가 정답이다.
15. 컷 상수는 과제별이고 복사하지 않는다. 운영 지표는 confidence가 아니라 보류율과 사람 큐 길이다.
16. 큰 Choice는 정순·역순 쌍으로 묻고 1위가 같을 때만 제안한다. 두 순서 확률 평균은 비용 2배·이득 0이라 폐기.
17. 부재 판정은 코드가 한다. "해당 없음"은 부재의 증거가 아니다.
18. 싼 생성 모델 대조군을 상시 병기한다. Jev의 가치 주장은 매 라운드 재검증 대상이다.
19. 개인정보는 원문 전체와 조립 payload를 이중 검사하고, 판정은 단어가 아니라 값과 명시 표지로 한다. 데이터셋을 만드는 외부 생성 호출도 같은 필터를 먼저 통과한다.
20. 순환 편향을 막고 시간 순 held-out으로 검증한다. 질문은 본문에서 만들고, 등록 뒤 새로 생긴 노트로만 재검증한다.
21. 사전 등록, 보류 = 실패, 골드 봉인. 판정 규칙·합격선·분모를 실행 전에 적고, 골드는 Jev 결과를 보기 전에 봉인한다.
22. 요청은 묶고 본문은 자른다. 독립 질문은 같은 state에 묶고, 본문 1,200자·제목 200·요약 200자를 공통으로 쓴다.

09 Verdict판정과 다음

판정이 바뀌는 조건 셋

• 사람 골드. 봉인된 60건 패킷이 검색 재선택과 답의 가치의 조건부 GO를 확정하거나 깨뜨립니다.
• 시간 순 held-out. 등록 뒤 새로 생긴 노트에서 검색 재선택과 87분류가 유지되는지. "보류만 Flash로" 캐스케이드도 여기서 전향 검증합니다.
• 운영 정오 표시. 라이브 라우팅의 질문 기록에 사람이 맞음·틀림·보류가 맞음을 적는 칸이 생기면 첫 운영 골드가 매일 쌓입니다.

주장하지 않는 것

• "한국어 검색 90% 해결"(89.8%는 순환 편향, 68.5%와 병기), "0.7 이상이면 실행", "없는 자료를 정확히 없다고 함", "같은 품질로 41% 절감"(품질 동등 미입증), "테스트 통과 = 정확도".
• 사람 판단 대비 정확도, 검토 시간 절감, 일반적인 추천 품질 향상. judge 정답률(논문)을 노트 라우팅 정확도로 옮기지 않습니다.

이어서 보기. 라운드별 결과, 사례 다섯, 여덟 모델, 시스템과 4층 프레임, 용어 사전, 공개 분류기. 원본 학습 페이지는 labs.cmdspace.work/jev/.