[AI·소프트웨어] 같은 MoE 모델도 활성 전문가 수와 메모리 제어에 따라 다른 발명이 됩니다
핵심 요약
MoE는 전문가를 고르는 것만으로 설명되지 않습니다. 삼성SDS의 활성 수 갱신과 삼성전자의 메모리 선적재 공개항은 서로 다른 처리 단계를 보호 대상으로 삼습니다.
생성형 AI의 추론비용을 줄인다는 말은 흔히 모델 크기를 축소하거나 GPU를 더 효율적으로 사용하는 문제로 이해됩니다. 그러나 전문가 혼합 모델(Mixture of Experts, MoE)에서는 한 번 더 안쪽으로 들어가야 합니다. 입력 토큰마다 어느 전문가를 실행하고, 몇 개의 전문가를 활성화하며, 그 전문가의 가중치를 어느 메모리에서 준비할 것인지가 서로 다른 기술적 선택이기 때문입니다.
예를 들어 한 서비스가 매 토큰마다 두 개의 전문가를 실행하도록 설정했다고 가정하겠습니다. 상대적으로 간단한 토큰에는 한 개만으로 충분할 수 있고, 어려운 입력에서는 두 개 이상이 유리할 수 있습니다. 반면 여러 전문가의 가중치가 GPU 고속 메모리에 적재되지 않으면 전문가 선택 자체가 끝나도 메모리 이동으로 인해 실행이 지연될 수 있습니다. 이 두 병목은 같은 ‘라우팅 최적화’라는 용어로 묶이지만 청구항에서는 다른 처리관계를 만듭니다.
1. 고정 Top-k 라우팅은 어디까지 설명할 수 있을까요?
MoE는 여러 전문가 신경망 중 일부만 활성화하는 희소 연산 구조입니다. 라우터(router)는 토큰의 표현을 이용해 전문가별 점수 또는 가중치를 계산하고, 정해진 개수의 전문가를 선택해 출력을 결합합니다. Switch Transformer 연구에서는 대표적으로 Top-1 선택을, Mixtral 8×7B 논문에서는 8개 후보 중 토큰당 2개 전문가를 선택하는 구조를 설명합니다.
중요한 점은 어떤 전문가를 고르는 문제와 선택할 전문가의 수(k)를 갱신하는 문제가 같지 않다는 것입니다. Top-2에서는 입력에 따라 선택되는 전문가의 신원은 달라지더라도 선택 개수는 2로 유지됩니다. 반면 동적 k 정책에서는 토큰·레이어·운영 상태 등에 따라 k 자체가 변할 수 있습니다.
예: [0.70, 0.20, 0.07, 0.03]
어떤 조건에서 개수가 변하는가
가중치 선적재·전송 지연 관리
2. 삼성SDS 공개특허의 핵심은 ‘선택 개수를 업데이트하는 단계’입니다
삼성SDS의 미국 공개출원 US20250292084A1(2025년 9월 18일 공개)의 독립 제1항을 읽으면 발명의 중심을 세 가지 처리행위로 나눌 수 있습니다.
| 미국 공개 제1항의 구성 | 기술상 의미 | 확인할 구현자료 |
|---|---|---|
| 업데이트 설정값 수집 | 선택 개수를 바꿀 때 참조하는 제어 설정 | 설정 파라미터·조건·제어 주기 |
| 추론 실행 및 라우터의 전문가 가중치 수집 | 실제 추론 과정에서 전문가 선택과 관련된 값 확보 | 토큰·레이어별 가중치 로그 |
| 가중치와 설정값에 기초한 활성 전문가 수 업데이트 | 전문가의 신원 선택을 넘어 개수 자체 변경 | k 변경 이벤트·변경 전후의 라우터 상태 |
독립항의 필수 처리관계는 설정값 → 추론 중 전문가 가중치 → 활성 전문가 수 갱신입니다. 같은 출원의 종속 제2·3항은 서로 다른 선택 개수를 사용하는 라우터 비율과 업데이트 조건을 구체화합니다. 종속 제6항에서는 전체 레이어와 특정 레이어의 전문가 가중치에 관한 편중·균등 지표를 비교해 선택 개수를 정하는 구성이 추가됩니다. 이 지표 계산을 독립 제1항의 필수 요건인 것처럼 전제해서는 안 됩니다.
관련 한국 공개출원 KR20250138056A(2025년 9월 19일 공개)도 설정치·전문가 가중치·활성 개수 변경의 관계를 확인하는 데 도움이 됩니다. 다만 한·미 공개문헌을 각각 별개의 독립 발명 건수로 세거나 공개청구항을 등록청구항으로 취급해서는 안 됩니다. 권리범위를 최종 판단할 때에는 각국의 실제 등록상태와 심사경과를 다시 확인해야 합니다.
원공보 도면 직접 보기: US20250292084A1 FIG. 3(시스템 구조), FIG. 5(라우팅 정책 갱신), FIG. 7·8(실험자료). 공보의 원도면과 청구항을 함께 열어 데이터 흐름과 갱신단계를 대조할 수 있습니다.
3. 숫자로 보면 같은 Top-2 정책의 한계가 드러납니다
네 전문가의 가중치 합이 1인 간단한 예를 가정하겠습니다. 토큰 A의 가중치는 [0.70, 0.20, 0.07, 0.03], 토큰 B는 [0.28, 0.26, 0.24, 0.22]입니다. 두 토큰 모두 Top-2를 적용하면 선택된 가중치의 합은 A에서 0.90이지만 B에서는 0.54에 그칩니다.
| 설명용 토큰 | Top-1 누적 | Top-2 누적 | 누적질량 0.85 이상을 만족하는 최소 k |
|---|---|---|---|
| A · 편중된 분포 | 0.70 | 0.90 | 2 |
| B · 균등한 분포 | 0.28 | 0.54 | 4 |
여기서 0.85는 원리를 설명하기 위해 INTLAW가 임의로 설정한 누적질량 기준이고, 위 수치 역시 실제 모델의 성능 측정값이 아닙니다. 더 중요한 점은 가중치 누적합이 크다고 정확도가 반드시 높거나 지연이 반드시 짧다고 볼 수 없다는 사실입니다. 전문가 계산비용·통신·메모리·레이어별 출력분포가 함께 달라지기 때문입니다. 이 예시를 삼성SDS 출원의 실제 업데이트 알고리즘과 동일시하지 않는 것도 중요합니다.
2026년 ICML ProbMoE 연구는 선택할 전문가의 수를 제약 범위 내에서 동적으로 조절하는 학습·추론 체계를 제시합니다. 또한 2026 EMNLP 연구는 추론단계에서 활성 전문가 수를 줄일 때 출력의 RMS 규모와 분산이 변하여 학습 당시와 표현분포가 어긋날 수 있음을 분석합니다. 따라서 활성 전문가 수의 변화 → 실제 계산량 변화 → 출력분포 변화 → 최종 품질을 별도의 실험 축으로 기록해야 합니다.
4. 삼성전자 공개특허는 전문가 수보다 ‘추론 전에 무엇을 메모리에 올릴지’를 다룹니다
삼성전자의 미국 공개출원 US20260099697A1(2026년 4월 9일 공개) 제1항은 다른 병목을 겨냥합니다. 추론에 앞서 전역(global) 전문가 집합을 선택하고, 그중 이른바 hot experts가 포함된 집합을 첫 번째 메모리에서 두 번째 메모리로 선적재(pre-fetch)하는 장치 구성이 중심입니다.
종속 제3항은 레이어별 로컬 전문가 집합 선택을, 제4항은 전역/로컬 집합을 레이어별 플래그로 혼합해 선택하는 구성을 구체화합니다. 제10항에서는 첫 번째 메모리와 두 번째 메모리를 각각 느린 메모리와 빠른 메모리로 한정합니다. 이는 추론 중 라우터 가중치에 따라 k를 갱신한다는 앞선 삼성SDS 공개 제1항과는 다른 데이터·시간·하드웨어 관계입니다.
hot expert 식별
선적재(prefetch)
메모리 접근지연·적중률 검증
2026년 ICML Opportunistic Expert Activation 연구가 메모리에 이미 적재된 전문가의 재사용을 다룬 것도 같은 문제의식을 보여줍니다. 다만 논문의 배치별 재사용 기전과 삼성전자 공개출원의 전역 집합 선적재는 자동으로 동일해지는 것이 아니며, 처리 시점·메모리 계층·청구항 필수요건을 각각 비교해야 합니다.
5. 하나의 성능개선 목표를 세 가지 청구항 지도에 나누어야 합니다
| 발명 유형 | 바뀌는 대상 | 핵심 입력·시점 | 검증에 필요한 기록 |
|---|---|---|---|
| 고정 Top-k 전문가 라우팅 | 선택된 전문가의 신원 | 토큰별 점수, 고정 k | 라우터 출력·전문가 선택로그 |
| 동적 활성 수 업데이트 | 선택할 전문가 개수 k | 추론 가중치·설정·갱신 조건 | k 변경이력·품질/연산량 비교 |
| 전문가 메모리 선적재 | 전문가 가중치의 적재 위치 | 추론 전 선택, 메모리 계층 | 전송량·캐시 적중·지연시간 |
예를 들어 실제 제품이 동적 k와 선적재를 모두 수행하더라도, 하나의 청구항에 모든 구성요소를 무조건 집어넣는 것이 최선이라고 볼 수는 없습니다. 독립항의 필수구성이 늘어날수록 특정 조합을 명확하게 보호할 수 있지만, 그 조합을 사용하지 않는 구현은 별도로 분석해야 하기 때문입니다. 구현과 효과를 구분해 기록한 후 독립항·종속항·시스템/방법항의 역할을 설계할 필요가 있습니다.
INTLAW 인사이트 — 성능 숫자보다 ‘어떤 제어를 했는가’를 먼저 남겨야 합니다
MoE 모델을 개발하는 기업이 고정 Top-2에서 동적 정책으로 전환한다면 먼저 세 비교군을 만들 필요가 있습니다. 고정 Top-2, 동일 모델의 동적 k, 동적 k와 메모리 선적재를 결합한 구성을 같은 하드웨어·배치·토큰 분포에서 각각 측정하면, 라우터 갱신의 효과와 메모리 이동을 줄인 효과를 분리할 수 있습니다.
그 과정에서 토큰·레이어별 전문가 가중치와 k 변화뿐 아니라 품질 평가, 출력분포의 변화, 전문가 사용 편중, GPU 간 통신, 캐시 적중, 평균 및 95·99백분위 지연을 함께 남겨두는 것이 유용합니다. 특히 동적 라우팅의 품질 차이는 단순히 활성 수가 줄었기 때문인지, 학습 때와 추론 때의 표현분포가 달라졌기 때문인지 분리해 검토해야 합니다.
특허 명세서에는 ‘AI 연산량을 줄인다’는 결과만으로 충분하지 않습니다. ① 언제 어떤 가중치나 상태값을 얻었는지, ② 어떤 조건에서 전문가 수 또는 적재 위치를 바꿨는지, ③ 그 변화가 실제 실행경로와 출력에 어떻게 반영됐는지가 재현 가능한 처리 단계로 설명되어야 합니다. FTO에서는 삼성SDS 공개항의 갱신 단계와 삼성전자 공개항의 추론 전 선적재 단계를 각각 따로 구성요소 대비표에 넣어야 합니다.
MoE의 기술자산은 ‘전문가를 선택한다’는 개념에 머무르지 않습니다. 전문가 수를 바꾼 의사결정과, 실행 전에 어떤 전문가를 어디에 준비했는지를 재현할 수 있을 때 서로 다른 보호 대상을 명확하게 정리할 수 있습니다.
원문·참고자료
- 삼성SDS US20250292084A1 · 공개 청구항 1·2·3·6 및 FIG. 3·5·7·8.
- 삼성SDS KR20250138056A · 한·미 공개청구 대응.
- 삼성전자 US20260099697A1 · 공개 청구항 1·3·4·10 및 원도면.
- Switch Transformers(JMLR, 2022) · Mixtral of Experts(2024).
- ProbMoE(ICML, 2026) · Distribution-Consistent Inference(EMNLP, 2026).