[AI·소프트웨어] 추측 디코딩에서 검증 결과가 바꾸는 세 가지 대상

핵심 요약

작은 모델의 초안을 검증한다는 공통 구조만으로 추측 디코딩 특허를 구분할 수 없습니다. Qualcomm과 Groq의 공개청구항은 후보 수정·경로 선택·문맥 길이 제어라는 서로 다른 기술을 다룹니다.

같은 대형언어모델(LLM)을 이용하더라도 답변이 생성되는 데 걸리는 시간은 크게 달라질 수 있습니다. 모델을 한 토큰씩 실행하는 대신, 작고 빠른 모델이 여러 토큰을 미리 제안하고 큰 모델이 이를 한꺼번에 검증하면 순차적으로 처리해야 하는 작업을 줄일 수 있기 때문입니다. 이를 추측 디코딩(Speculative Decoding)이라고 합니다.

그러나 “작은 모델이 생성하고 큰 모델이 검증한다”는 설명만으로는 어떤 발명이 보호되는지 알 수 없습니다. 실제 시스템은 검증 결과를 이용해 잘못된 후보를 고치거나, 여러 후보 경로 중 하나를 선택하거나, 다음 초안 생성에 사용할 문맥 길이를 바꾸는 방식으로 발전하고 있습니다. 이 차이는 기술구현뿐 아니라 독립청구항의 필수구성에도 직접 나타납니다.

1. 초안 토큰을 수락하는 과정부터 구별해야 합니다

Leviathan·Kalman·Matias의 ICML 2023 원연구는 빠른 근사모델(draft model)이 연속 토큰을 제안하고, 목표모델(target model)이 여러 위치의 확률분포를 병렬로 계산한 뒤 정해진 확률적 수락·보정 규칙을 적용하는 방식입니다. 논문은 특정 T5-XXL 시험조건에서 기존 T5X 구현 대비 2~3배의 추론 가속을 보고했습니다.

이 알고리즘이 중요한 이유는 속도만이 아닙니다. 적절한 수락·보정 규칙을 적용하면 더 빠른 초안모델을 사용하면서도 목표모델에서 직접 샘플링한 경우와 동일한 출력 확률분포를 유지할 수 있습니다. 다만 이는 특정 확률적 알고리즘의 보장입니다. 단순한 의미적 승인, 임의의 토큰 교체, 텍스트 후처리까지 모두 같은 분포를 보장하는 것은 아닙니다.

2. ‘확률분포를 보존한다’는 말은 수락 규칙으로 검증됩니다

목표모델의 확률을 p, 초안모델의 확률을 q라고 할 때, 초안에서 추출한 토큰 x를 수락하는 조건부 확률은 다음과 같이 정할 수 있습니다.

거절되면 목표모델의 확률과 초안모델의 확률 사이의 양의 잔여분, 즉 max(0, p−q)을 정규화한 분포에서 보정 토큰을 추출합니다. 복잡해 보이지만 두 토큰만 있는 가상 사례로 확인할 수 있습니다.

전체 시행 기준으로 A가 수락되어 출력되는 확률질량은 0.60×0.50=0.30, B가 수락되는 질량은 0.40×1.00=0.40입니다. 거절되는 A의 나머지 0.30은 잔여분 보정을 거쳐 B로 배정됩니다. 최종 출력분포는 A=0.30, B=0.70이므로 목표모델의 p와 일치합니다.

이 숫자는 원리 설명을 위해 구성한 예제이며 실제 서비스의 수락률이나 벤치마크가 아닙니다. 중요한 법적·기술적 구분은, ‘타깃 모델이 후보를 검증한다’는 문구와 ‘정확히 어떤 확률적 수락·잔여분 보정 과정을 거친다’는 구현은 서로 다른 수준의 한정이라는 점입니다. 이제 실제 공개청구항을 대조할 수 있습니다.

3. Qualcomm 2025 공개항 — 검증 결과를 후보 수정 지시로 사용합니다

Qualcomm의 US20250021761A1(2025년 1월 16일 공개) 독립 제1항은 처리시스템(processing system) 청구항입니다. 첫 생성모델이 후보 응답의 토큰열을 만들고, 이를 입력 질의와 함께 두 번째 모델에 전달해 검증한 다음, 두 번째 모델에서 받은 안내 신호(guidance signals)에 기초하여 후보 응답을 수정·출력하도록 구성합니다.

여기서 중심은 단순 토큰의 수락 여부가 아니라 검증 결과가 첫 번째 모델의 후속 수정행위로 되돌아간다는 관계입니다. 제2항은 잘못된 토큰의 위치 식별, 제7항은 구조화된 문법 명령, 제9항은 수정 횟수에 대한 한정을 더합니다. 로컬 기기와 원격 검증모델의 배치는 제11항에 구체화되어 있으므로 이를 독립 제1항 전체의 공통 필수요건으로 읽어서는 안 됩니다.

원 공보에는 후보 응답을 반복 보정하는 실시예와 두 생성모델 사이의 통신구조가 설명되어 있습니다. US20250021761A1 원문·원도면에서 제1항과 제2·7·9·11항을 함께 열어 보면, 안내 신호 자체와 그 신호의 구체적 표현형식을 구분할 수 있습니다. 이 독립항의 문언만으로 ICML 2023의 정확한 p/q 수락공식이 필수라고 단정하지 않습니다.

4. Qualcomm 2026 공개항 — 복수 후보 경로의 선택이 중심입니다

Qualcomm의 US20260119905A1(2026년 4월 30일 공개) 독립 제1항 역시 처리시스템 청구항이지만 내용은 다릅니다. 첫 생성모델에서 하나의 후보가 아니라 복수의 토큰집합을 만들고, 두 번째 모델이 이를 검증하며, 선택된 집합을 나타내는 정보를 받아 해당 집합을 출력합니다.

후보가 여러 개라면 개발자는 어떤 경로를 보존할지, 후속 초안을 어느 경로에서 시작할지, 검증에 들어가는 계산량을 얼마나 늘릴지 결정해야 합니다. 제4항은 이 후보집합을 트리 자료구조로 표현하는 방식을 추가하며, 제9항은 기존 후보를 검증하는 중에 다음 후보를 미리 생성하는 동작을 추가합니다. 따라서 트리구조나 검증 중 추가 생성이 제1항 자체에 반드시 적혀 있다고 해석해서는 안 됩니다.

이 출원의 주장 우선일은 2023년 3월 24일이고 공개일은 2026년 4월 30일입니다. 2026년에 공개됐다는 이유로 2023년 원연구보다 발명일이 늦다고 단정할 수 없습니다. 선행기술 및 우선권 판단은 특징별 원명세서의 기재지원과 적법한 유효일을 따로 확인해야 합니다.

5. Groq 2026 공개항 — 오류율이 다음 초안의 문맥 길이를 바꿉니다

Groq의 US20260065098A1(2026년 3월 5일 공개) 독립 제1항은 방법(method) 청구항입니다. 요청을 수신하고, 초안모델의 토큰 여러 개를 얻고, 이와 관련한 오류율을 판단한 뒤, 오류율에 기초해 초안모델의 문맥 길이(context length)를 변경하고 그 길이로 모델을 구성하도록 합니다.

이 기술은 단순히 한 번에 생성하는 후보 토큰 수를 늘리는 문제와는 다릅니다. 모델이 참조·처리하는 문맥 길이를 조정하는 것으로, 초안 생성 비용과 정확도·메모리 자원의 균형에 관련됩니다. 제4항은 목표모델에 의한 검증, 제8항은 거절된 토큰과 검증된 토큰의 비율, 제10항은 목표 처리량, 제12항은 초안모델이 사용하는 KV 캐시 크기 조정을 각각 별도로 구체화합니다. KV 캐시 크기 변경은 제1항의 모든 실시형태에 요구되는 공통 문언이 아닙니다.

예를 들어 일정 구간의 오류율이 높아지자 초안모델의 문맥 길이를 2,048에서 1,024로 줄이는 가상 정책을 생각할 수 있습니다. 그러나 이렇게 줄였다는 사실만으로 출력품질 유지나 속도 개선이 입증되지는 않습니다. 실제 기술효과를 주장하려면 길이를 변경한 이유, 바뀐 문맥에 따른 오류율, 다시 생성된 토큰의 수락률과 추론시간을 함께 관찰해야 합니다. Groq 원공보 도면 FIG. 1~3 및 명세서는 오류율 측정과 적응적 구성의 관계를 확인할 수 있는 자료입니다.

6. 동일한 ‘검증 결과’가 서로 다른 제어 지점으로 연결됩니다

발명자가 ‘추측 디코딩 속도를 개선했다’고 설명할 때 이를 그대로 출원서의 발명 개념으로 확정하면 문제가 생깁니다. 실제로는 어느 검증값이 어떤 처리단계를 변경했는지가 발명내용과 청구항 비교에서 필요한 첫 번째 분기점입니다.

7. 수락률이 높다고 실제 서비스의 처리량까지 높아지는 것은 아닙니다

기술효과는 독립적으로 측정해야 합니다. 네 토큰을 초안으로 만들고 세 토큰을 수락한 뒤 네 번째를 보정한다고 가정하면, 한 번의 검증 사이클에서 네 개 토큰을 확정할 수 있습니다. 하지만 초안 생성과 목표모델 검증에 시간이 얼마나 걸렸는지 알지 못하면 속도배율을 계산할 수 없습니다.

위 표는 계산 검산용 가정입니다. 실제 제품에서는 첫 토큰 지연(TTFT), 이후 토큰 간 지연(TPOT), P95·P99 지연, 목표모델 검증에 드는 GPU 시간, 초안·목표모델 사이 데이터 전송, 긴 문맥의 캐시 압력까지 별도로 측정해야 합니다. 수락된 토큰의 수와 목표모델의 출력분포 보존 여부도 독립적인 평가축입니다.

ICLR 2026의 Speculative Speculative Decoding 연구는 목표모델이 현재 초안을 검증하는 동안 다음 검증 결과를 예상해 후속 초안을 먼저 준비합니다. 이 연구가 제시하는 동시 실행의 이점은 Qualcomm US20260119905A1 종속 제9항과 비교할 수 있는 기술 지점이지만, 후발 논문이 선출원에 대해 자동으로 선행기술이 되는 것은 아닙니다. 또한 연구 저자의 가속수치는 그 시험 하드웨어와 구현 조건에 한정해 읽어야 합니다.

INTLAW 인사이트 — 특허와 제품성능은 다른 로그에서 검증해야 합니다

추측 디코딩을 개발하는 기업이라면 먼저 후보 생성 → 검증 결과 → 수락 또는 수정 → 다음 초안 설정의 전체 이벤트를 하나의 실행 기록으로 연결해 보는 것이 유용합니다. 후보집합을 여러 개 만드는지, 검증기가 구체적 수정 명령을 돌려주는지, 오류율이 다음 초안모델 구성에 반영되는지에 따라 기능 명세서와 청구항의 구조가 달라집니다.

특허전략에서는 ‘초안모델과 목표모델이 존재한다’는 상위 개념만으로 발명의 차별성을 설명하기보다, 실제로 바뀌는 정보·제어조건·출력 객체를 독립항의 필수구성 후보로 검토해야 합니다. 반대로 FTO를 수행할 때에는 세 공개문헌을 하나의 ‘추측 디코딩 특허’로 뭉쳐 판단하지 않고, 수정 지시·후보 선택·문맥 갱신에 관한 구성요소 충족 여부를 별도로 대비해야 합니다. 세 공보는 미국 공개출원(A1)이므로 실제 등록 여부와 심사 과정에서의 청구항 변경은 국가 원부로 추가 확인해야 합니다.

연구개발에서는 정확도보다 속도만 추구해서도, 속도보다 수락률만 추구해서도 안 됩니다. 동일 목표모델·프롬프트 분포·배치 크기·하드웨어에서 검증 규칙만 바꾸는 시험과 후보 경로·문맥 길이만 바꾸는 시험을 분리해야 효과의 원인을 설명할 수 있습니다.

이처럼 어떤 정보가 생성됐고, 어느 단계에서 검증됐으며, 그 결과가 무엇을 바꿨는지를 재현할 수 있다면 추측 디코딩의 속도개선은 단순한 성능 수치가 아니라 개발 의사결정과 권리범위 설계를 함께 설명하는 기술자산이 됩니다.