제브와 지식관리

글을 쓰지 않고 판단만 돌려주는 TypeSafe의 System One 모델, 제브를 소개합니다. 2026-09-24 첫 실측 341회 호출에서 응답 시간 중앙값은 0.52초, 총비용은 약 $0.03이었습니다. 저는 여기서 원칙 하나를 세웠습니다: 제안은 제브가 하고, 실행은 코드와 제가 합니다.

챕터장면이 바뀌는 시각

1. 01글을 쓰지 않는 AITypeSafe의 판단 모델, 제브0:00
2. 02제브가 돌려주는 것Choice, Noul, Score0:12
3. 03빠르고, 입력에만 과금341번 호출에 약 $0.030:20
4. 04쓰는 AI 옆에, 고르는 AI생성과 판단0:36
5. 05제안은 제브, 실행은 코드와 사람모든 판단에 영수증을 남긴다0:45
6. 0610,000+ 노트 볼트에서검색, 분류, 모델 검증은 다음 편부터1:02

글을 한 줄도 쓰지 않는 AI가 있습니다. 이 모델은 판단만 합니다.

TypeSafe가 9월 15일에 공개한 System One 판단 모델, 제브입니다. 문장을 만드는 대신, 판단 하나를 돌려줍니다.

선택지를 주면 선택지마다 확률을, 예 아니오를 물으면 예일 확률을, 기준을 주면 점수를 돌려줍니다.

첫 실측 341번 호출에서, 응답 시간 중앙값은 0.52초였습니다. 요금은 입력에만 붙습니다. 입력 100만 토큰당 4.2센트, 출력은 무료입니다.

그 341번 호출에 든 비용을 모두 합치면, 3센트 정도였습니다.

생성형 AI는 글과 코드를 새로 씁니다. 제브는 주어진 것 중에서 고르고, 그 판단을 확률과 점수로만 말합니다.

그래서 원칙을 하나 세웠습니다. 제브는 제안만 하고, 실행은 코드와 제가 합니다.

모든 호출은 영수증을 남깁니다. 보낸 질문, 선택지 순서를 뒤집어 다시 물은 결과, 결정과 이유, 그리고 제가 최종으로 고른 답까지 섀도 로그에 함께 적힙니다.

이 판단 모델을, 만 개가 넘는 노트가 있는 제 볼트에 붙였습니다. 검색, 분류, 모델 검증까지, 다음 편부터 실측 숫자로 보여 드립니다.

제안은 제브가, 실행은 제가. 커맨드스페이스, 구요한이었습니다.

영상 속 수치와 근거

• 판단 형태 세 가지: Choice는 주어진 선택지마다 확률, Noul은 예 아니오의 확률, Score는 기준에 따른 점수를 돌려줍니다.
• 341회 호출(2026-09-24 첫 실측): 응답 시간 중앙값 0.52초, 총비용 약 $0.03
• 요금은 입력 토큰에만 붙습니다: 입력 100만 토큰당 $0.042, 출력 무료
• 모든 호출은 영수증(보낸 질문, 선택지 순서를 뒤집은 두 결과, 결정과 이유)과, 제가 최종으로 고른 답을 적는 섀도 로그를 남깁니다.

한계: 341회는 하루치 첫 실측 표본이고, 응답 시간은 그날 제 환경에서 잰 값입니다.

판단층 설계와 영수증 보기

검색은 후보를 넓게 찾고, 제브는 그중 읽을 노트를 고릅니다. 2026-09-26 세 라운드 실측에서 처음 보는 위키 질문 49개 중 제브가 고른 노트는 44개가 정답이었고, 후보 목록 1위는 16개였습니다. 기준 0.3의 킵셋(유지 집합) 필터는 후보를 평균 17.55개에서 2.39개로 줄이면서 정답 45개 중 44개를 남겼습니다.

챕터장면이 바뀌는 시각

1. 00검색은 많이 찾는다무엇을 먼저 읽을까0:00
2. 01세 라운드로 잰다사전 등록, 봉인, 새 데이터0:15
3. 02제브가 고른 노트후보 목록 1위와 비교0:40
4. 03읽을 것만 남긴다킵셋 필터, 기준 0.31:03
5. 04정답이 없을 때없다고 말하지 않는다1:21

제 볼트에는 만 개가 넘는 노트가 있습니다. 검색은 후보를 많이 찾아 주지만, 무엇부터 읽을지는 정해 주지 않습니다.

그래서 역할을 나눴습니다. 검색이 후보 목록을 만들고, 제브가 그중 읽을 노트를 고릅니다. 만 개가 두세 개로 줄어드는 과정입니다.

첫째 장은 측정 방법입니다. 세 라운드를 같은 모델로 쟀습니다.

판정 기준을 먼저 등록해 두고, 최종 문제는 봉인했다가 한 번만 열었습니다. 마지막 라운드는 처음 보는 질문으로 다시 쟀습니다.

세 라운드를 합쳐 3,560번 호출했고, 입력 토큰은 826만 개 남짓, 비용은 35센트, 오류는 한 번도 없었습니다. 모델 버전은 하나로 고정했습니다.

둘째 장은 결과입니다. 제브가 고른 노트는 맞았을까요?

처음 보는 위키 질문 49개에서, 제브가 고른 노트는 44개가 정답이었습니다. 후보 목록 1위 노트는 16개였습니다.

한국어 질문 55개로 연 봉인 최종 라운드는 제브 45개, 목록 1위 30개, 로컬 qmd 검색 26개였습니다.

셋째 장은, 읽을 것만 남기고 나머지를 빼는 필터입니다.

후보마다 읽을 만한지 확률을 묻고, 0.3 아래는 뺐습니다. 평균 후보 17.55개가 2.39개로, 86.4% 줄었고, 정답 노트는 45 중 44개가 남았습니다.

넷째 장은 제브의 약점입니다. 약점도 숫자로 보여 드립니다.

후보 안에 정답이 없을 때, 제브는 없다고 답하지 않았습니다. 네 번 물어 한 번도, 다섯 번 물어 한 번도 없었습니다. 그래서 이럴 땐 항상 원래 목록으로 돌아갑니다.

모든 선택은 영수증으로 남깁니다. 순서를 뒤집어 물어도 같은 답인지, 무엇을 남기고 무엇을 왜 골랐는지, 그리고 제가 실제로 연 노트까지 적힙니다.

검색은 넓게 찾고, 제브는 하나를 제안하고, 읽을 노트는 제가 확정합니다.

제안은 제브가, 실행은 제가. 커맨드스페이스, 구요한이었습니다.

영상 속 수치와 근거

• 세 라운드(사전 등록, 봉인한 최종 분할, 새 데이터 재시험) 합계 3,560회 호출, 입력 8,264,570 토큰, 총비용 $0.35, 오류 0, 모델 jev-1.13.0 고정 (2026-09-26)
• 처음 보는 위키 질문: 제브 재선택 44/49, 후보 목록 1위 16/49 (3라운드, 2026-09-26)
• 한국어 질문 봉인 최종: 제브 45/55, 목록 1위 30/55, 로컬 qmd query 26/55 (2라운드, 2026-09-26)
• 킵셋 필터 기준 0.3: 후보 평균 17.55개에서 2.39개로 86.4% 감소, 정답 45개 중 44개 유지 (95% 구간 88.4~99.6%, 2026-09-26)

한계: 정답이 후보 안에 없을 때 제브가 '없음'을 고른 경우는 3라운드 4번 중 0번, 2라운드 5번 중 0번이었습니다. 그래서 이 경우에는 항상 원래 후보 목록으로 돌아갑니다. 정답은 볼트에 이미 적혀 있던 메타데이터이며, 사람이 새로 판정한 정답은 2026-09-26 기준 0건입니다. 결과는 이 볼트와 이 질문 세트의 값입니다.

검색 후보 재선택과 유지 집합 결과 보기

CMDS 87개 소분류로 노트를 분류할 때, 칸 이름만 주면 120개 중 24개(20.0%), 모든 칸에 정의 한 줄을 붙이고 형식부터 보게 하면 91개(75.8%)가 맞았습니다. 같은 데이터에서 120개 중 101개를 맞혀 가장 좋아 보였던 타입 기반 규칙표는, 처음 보는 폴더에서 27개 중 1개만 맞혔습니다. 결과를 보고 세운 가설은 새 데이터로 다시 잽니다.

챕터장면이 바뀌는 시각

1. 00새 노트는 어느 칸으로 갈까CMDS 분류는 메타데이터0:00
2. 01이름만 줬을 때87개 칸의 이름0:14
3. 02가장 좋아 보였던 규칙타입으로 분류를 정한다0:46
4. 03새 폴더에서 무너지다처음 보는 데이터1:02
5. 04제브는 후보 셋만마지막 선택은 나1:27

새 노트가 들어오면 어느 칸에 넣을지, 판단 모델 제브에게 물어봤습니다.

칸은 폴더가 아니라 메타데이터입니다. 대분류 아홉 개, 그 아래 소분류 87개가 있고, 만 개가 넘는 노트마다 그중 하나를 적습니다.

처음엔 제브에게, 87칸의 이름만 건넸습니다.

이름만 주면 120 중 24개, 20%였습니다. 모든 칸에 정의 한 줄을 붙이고, 주제보다 형식을 먼저 보라고 하자, 91개, 75.8%로 올랐습니다.

칸 이름은 저에게만 뜻이 있습니다. 모델에게는, 그 칸이 무엇을 담는지 정의 한 줄이 필요합니다.

형식을 먼저 보라는 지시는, 이 노트가 회의록인지, 강의 자료인지, 에세이인지를 먼저 가리고, 무엇에 관한 글인지는 그다음에 보라는 뜻입니다.

두 번째 장은, 한때 가장 좋아 보였던 규칙표입니다.

결과를 보다가 규칙 하나가 눈에 띄었습니다. 프론트매터의 타입만 보고 분류를 정하는 규칙표입니다.

같은 데이터로 재 보니 120 중 101개, 제브의 91개보다 높았습니다.

그런데 처음 보는 폴더에서, 규칙표가 무너졌습니다.

새 폴더에서 규칙표는 27 중 하나만 맞혔습니다. 같은 설명을 준 제브는 65 중 28개, 43.1%. 규칙을 먼저 쓰고 제브를 뒤에 붙인 방식은 20개로, 제브 혼자보다 낮았습니다.

결과를 보고 나서 세운 가설은, 새 데이터 앞에서 다시 재야 합니다. 규칙표는 제가 이미 본 데이터에 맞춰져 있었습니다.

그래서 제브를 쓰는 방식을 바꿨습니다. 답 대신, 후보를 받습니다.

제브는 후보 칸 셋을 제안하고, 마지막 선택은 제가 합니다. 제가 고른 답은 정답으로 기록돼, 다음 측정의 기준이 됩니다.

프로젝트 폴더 분류는 쉬웠습니다. README에 설명 한 줄을 넣자, 80 중 78개, 97.5%가 맞았습니다. 메인 볼트와 위키 사이 분류는 64에서 80%라, 아직 맡기지 않습니다.

제안은 제브가, 실행은 제가. 커맨드스페이스, 구요한이었습니다.

영상 속 수치와 근거

• 칸 이름만: 24/120 (20.0%). 모든 칸 정의 한 줄과 형식 먼저 지시: 91/120 (75.8%, 95% 구간 67.5~82.6%) (2라운드, 2026-09-26)
• type 기반 규칙표: 2라운드 101/120, 처음 보는 폴더 1/27 (3라운드, 2026-09-26)
• 처음 보는 폴더, 같은 설명을 준 제브: 28/65 (43.1%, 95% 구간 31.8~55.2%). 규칙을 먼저 쓰고 제브를 뒤에 붙인 방식: 20/65 (3라운드, 2026-09-26)
• 프로젝트 폴더 라우팅: README 설명 한 줄 추가 후 78/80 (97.5%, 2라운드, 2026-09-26)
• 운영 방식: 제브는 후보 칸 셋을 제안하고, 최종 선택은 제가 하며, 그 선택을 다음 측정의 정답으로 기록합니다.

한계: 처음 보는 폴더에서 규칙표(1/27)와 제브(28/65)는 분모가 달라 같은 문항 위의 맞대결로 읽지 않습니다. 메인 볼트와 위키를 가르는 판단은 분할에 따라 63.8%(2라운드 최종 51/80)에서 80.0%(1라운드 설계 32/40) 사이라 아직 맡기지 않습니다. 정답은 볼트에 이미 적혀 있던 메타데이터입니다.

87분류와 라우팅 결과 보기

제브 실험 기록을 한 묶음의 문제지로 만들어 프런티어 모델 여덟 개에게 똑같이 건넸습니다. 답안 키가 있는 논리 문항과 10축 루브릭으로 이름을 가리고 채점했고, 반박 검토자가 결과를 다시 공격했습니다. 답안을 낸 일곱 모델 중 상위 셋은 2.2점 안에 모인 동률권이었고, 논리 점수는 가까웠으며 순위를 가른 것은 이 볼트 맥락에 맞춘 실행 설계였습니다.

챕터장면이 바뀌는 시각

1. 01같은 문제지를 여덟 모델에게정답 있는 논리 문항, 블라인드 채점, 반박 검토0:00
2. 02총점, 100점 만점상위 셋은 채점 오차 안에서 동률0:16
3. 03논리는 비슷했고, 실행 설계가 갈랐다순위를 가른 부분0:28
4. 04실험을 이끈 모델도 보고서를 썼다그래서 2위는 독립 순위가 아니다0:35
5. 05모델의 합의는 증거가 아니다이 시리즈의 숫자는 실행으로 쟀다0:42
6. 06모델은 제안하고, 실행이 증명한다마지막 선택은 사람이 기록한다1:02

제브 실험 기록을 한 묶음의 문제지로 만들어, 프런티어 모델 여덟 개에게 똑같이 건넸습니다.

문제지에는 정답이 정해진 논리 문항이 들어 있었습니다. 채점은 평가 축 열 개로, 누구 답인지 가리고 했고, 반박만 하는 검토자가 결과를 다시 공격했습니다.

여덟 모델 중 일곱이 답안을 냈습니다. Grok 4.7, Claude Opus 5.5, GPT-6 Sol은 100점 만점에 87점대부터 89점대로, 채점 오차 안에서 묶였습니다.

논리 점수는 서로 가까웠습니다. 순위를 가른 건, 그 논리를 어떻게 실행할지 설계한 부분이었습니다.

하나 밝혀 둡니다. 실험을 이끈 Opus도 보고서를 직접 썼기 때문에, Opus의 2위는 독립된 순위가 아닙니다.

모델끼리 의견이 맞는다고 증거가 되지는 않습니다. 증거는 실행에서 나옵니다.

이 시리즈의 숫자는 전부 실행으로 쟀습니다. 새 질문 49 중 44개, 정의 한 줄로 120 중 91개, 새 폴더의 규칙표는 27 중 1개. 3,560번 호출에 35센트였습니다.

모델은 제안하고, 실행이 증명하고, 마지막 선택은 사람이 기록합니다.

제안은 제브가, 실행은 제가. 커맨드스페이스, 구요한이었습니다.

영상 속 수치와 근거

2026-09-26, 이 문제지 한 벌의 결과입니다. 동률권 표시를 단 상위 셋은 2.2점 안이고, 2026-09-24에 잰 재채점 분산 ±1.6과 겹쳐 동률로 읽습니다.

• Claude Fable 5.1은 두 번의 시도 모두 실행 환경에서 작업이 중단돼 답안이 없습니다. 0점이 아니라 순위 밖입니다.

한계: 실험을 이끈 헤드 모델 Claude Opus 5.5가 보고서도 쓰고 채점, 반박, 조정도 맡았기 때문에, Opus 5.5의 2위는 독립 검증된 순위가 아닙니다. 블라인드 슬롯과 별도 반박자는 편향을 줄일 뿐 없애지 않습니다. 이 순위는 이 문제지 한 벌의 결과입니다.

여덟 모델 논리검증 전체 보기