[AI·소프트웨어] 온디바이스 AI 개인화는 데이터 표현에서 시작됩니다

삼성전자의 온디바이스 AI 공개청구항은 임베딩 분포의 통계적 요약을 이용한 개인화 출력을 다룹니다. 어댑터의 순차학습과 LoRA의 저랭크 가중치 변경은 별도의 기술적 단계입니다.

핵심 요약삼성전자의 온디바이스 AI 공개청구항은 임베딩 분포의 통계적 요약을 이용한 개인화 출력을 다룹니다. 어댑터의 순차학습과 LoRA의 저랭크 가중치 변경은 별도의 기술적 단계입니다.

AI 모델을 개인화한다고 하면 흔히 파인튜닝이나 LoRA 학습을 먼저 떠올립니다. 그러나 고객의 휴대전화나 업무용 단말에서 사용자별 결과를 다르게 만드는 기술이 반드시 기존 모델의 가중치를 수정하는 데서 시작되는 것은 아닙니다. 사용자 데이터로 생성한 임베딩의 분포를 어떻게 표현하고, 그 표현을 어떤 개인화 출력에 연결하는가도 별도의 기술적 판단 대상입니다.
특허공보의 명칭과 명세서가 ‘지속학습’과 ‘어댑터’를 설명하더라도, 독립청구항에서 실제로 요구하는 처리 단계는 다른 위치에 있을 수 있습니다. 삼성전자의 미국 공개특허와 LoRA 원연구를 대조하면 이 차이가 구체적으로 나타납니다.

1. 개인화는 언제나 모델 가중치를 바꾸는 작업은 아닙니다
문장 감성분석을 수행하는 온디바이스 AI를 생각해 보겠습니다. 한 이용자는 상품 리뷰를, 다른 이용자는 영화 리뷰를 많이 작성합니다. 같은 사전학습 모델을 쓰더라도 두 이용자가 제공하는 입력의 주제·어휘·문장구조는 다를 수 있습니다. 모델이 생성한 임베딩(embedding)은 이런 입력을 벡터로 표현합니다.
토큰별 벡터를 전부 후속 연산에 전달하는 대신 분포를 통계적으로 요약하는 방법이 있습니다. 평균은 값의 중심, 분산은 흩어짐, 왜도는 비대칭성, 첨도는 분포의 꼬리와 뾰족함 관련 특성을 나타냅니다. 이 통계량을 개인화 출력에 사용하는 것은 별도의 모델 파라미터를 업데이트하는 것과 기술적 객체가 다릅니다.

① 사용자별 샘플문장·입력 데이터의 샘플 집합을 기기에서 처리합니다.사전학습 모델로 임베딩 분포 생성
② 통계적 요약여러 임베딩 표현의 분포에서 통계적 기술자를 계산합니다.평균·분산 등은 종속항에서 한정
③ 개인화 출력적은 수의 통계적 기술자를 이용해 사용자 기기별 결과를 생성합니다.공개 제1항의 출력 관계
그림 1. 임베딩 분포에서 개인화 출력까지. 삼성전자 US20250217592A1 공개 제1항을 토대로 INTLAW가 재구성한 처리도입니다. 원공보 FIG. 1과 감소모듈 106의 설명을 함께 확인할 수 있습니다.

2. 삼성전자 미국 공개 제1항은 임베딩 통계량의 연결을 요구합니다
삼성전자 US20250217592A1(2025년 7월 3일 공개)의 독립 방법청구항 제1항은 전자 사용자 기기에서 기계학습 모델을 개인화하기 위한 다음 처리관계를 포함합니다.
독립 제1항의 구성기술적 의미제품에서 확인할 증거
기본 파라미터를 가진 사전학습 모델 확보임베딩을 생성할 모델모델 버전·입력 처리 경로
특정 문제에 관한 사용자 샘플 집합 수신개인화에 사용되는 데이터입력의 단말·저장·전처리 위치
샘플별 임베딩 표현의 분포 생성입력의 벡터화토큰·샘플·집계축
복수의 통계적 기술자 생성분포의 압축된 표현기술자 종류·생성 단계
기술자를 이용해 개인화 출력 생성기술자를 실제 출력에 반영출력 헤드·연산 의존관계

제1항에는 통계적 기술자의 수가 임베딩 표현의 수보다 적다는 관계가 명시되어 있습니다. 이는 출력 벡터 차원을 항상 같은 비율로 줄여야 한다는 문언과는 다릅니다. 또 제1항에서 평균·분산·왜도·첨도를 모두 계산하거나 기본 가중치를 고정해야 한다고 직접 요구하지도 않습니다.
종속 제2항은 평균·분산·왜도·첨도 중 적어도 두 가지 통계적 모멘트를, 제3항은 평균·분산·왜도의 세 가지를 구체화합니다. 실제 구현 분석에서는 통계 기술자를 생성한다는 일반 요건과 특정 기술자의 조합을 구별해야 합니다. 공보의 FIG. 3a·3b는 평균과 분산의 개념을, 명세서 감소함수는 모멘트 연결방식을 설명합니다.

3. 어댑터를 학습하는 구조는 제7·8항의 추가 한정입니다
같은 문헌의 종속 제7항은 사전학습 모델에 복수의 어댑터 모듈을 추가해 로컬 모델을 만드는 단계를 더합니다. 이를 인용하는 제8항에서는 여러 문제별 학습집합을 순차적으로 처리하면서 기본 파라미터를 고정하고 각 문제에 해당하는 어댑터 파라미터를 학습합니다.
제8항이 제7항을, 제7항이 제1항을 인용하므로 제8항의 어댑터 학습은 제1항의 통계 기술자 생성과 개인화 출력 관계 위에 누적되는 구조입니다. 어댑터만 구현했다거나 사전학습 모델의 가중치를 고정했다는 사실만으로 독립 제1항의 나머지 요건이 자동으로 충족된다고 볼 수는 없습니다.
명세서의 FIG. 2a·2b에는 Transformer 레이어와 병목형 어댑터 모듈 실시예가 있습니다. 하지만 명세서 대표도면의 세부 구조와 공개 독립항의 모든 필수구성은 반드시 같은 범위가 아닙니다.

4. LoRA는 임베딩 통계량이 아니라 학습 가능한 가중치 변화에 집중합니다
Hu 등의 LoRA 원연구(ICLR 2022)는 사전학습된 가중치 W₀를 고정하고, 학습 가능한 저랭크 행렬 A·B로 변화량 ΔW를 표현하는 방법을 제시합니다. 선형 계층은 다음과 같이 쓸 수 있습니다.
W = W₀ + ΔW,   ΔW = BA,   y = W₀x + BAx
전 가중치를 새로 학습하는 대신 적은 수의 파라미터로 특정 작업에 적응할 수 있다는 것이 핵심입니다. LoRA 연구진이 제시한 학습 파라미터 수·GPU 메모리 개선 수치는 해당 논문의 모델과 비교조건에 관한 결과이며, 삼성전자 공보의 통계적 임베딩 요약이 실증된 수치는 아닙니다.
일반적인 병목형 어댑터는 별도 처리 모듈을 Transformer 블록에 추가하는 방식인 반면, LoRA는 기존 선형 변환의 가중치 변화량을 저랭크 행렬로 나타냅니다. 둘 다 파라미터 효율적 학습에 활용되지만 모듈 구조·학습대상·추론 시 결합방식이 언제나 같지는 않습니다. Microsoft의 LoRA 공식 구현도 원래 가중치 고정과 저랭크 행렬 학습을 설명합니다.

통계적 요약공개 제1항사전학습 모델 → 임베딩 분포통계 기술자 → 개인화 출력
어댑터 학습공개 제7·8항기본 파라미터 고정문제별 어댑터의 순차 학습
LoRAICLR 2022원래 가중치 W₀ 고정저랭크 행렬 학습 → ΔW=BA
그림 2. 실제 변경되는 객체의 비교. 두 위쪽 경로는 삼성전자 공개청구항의 서로 다른 한정이고, 아래 경로는 독립적인 LoRA 연구입니다. 세 기술이 하나의 청구항에서 모두 필수라는 의미는 아닙니다.

5. 같은 통계량이라도 순서가 다른 입력을 구별하지 못할 수 있습니다
통계량의 장점은 많은 값의 분포를 비교적 간결하게 표현하는 데 있습니다. 그러나 분포만으로는 구별할 수 없는 정보도 있습니다. 다음은 입력 순서가 다른 두 개의 스칼라 임베딩 집합을 비교한 교육용 가상 수치입니다.
비교입력 A입력 B
순서가 있는 값[0, 0, 2, 2][0, 2, 0, 2]
평균11
모집단 분산11
왜도00
정규화된 첨도(초과첨도 아님)11

두 입력은 값의 나열 순서가 다르지만 동일한 다중집합을 가지므로 위 분포통계가 모두 같습니다. 순서를 따로 보존하지 않는 통계적 기술자만으로는 이 두 입력을 구별하기 어렵습니다. 따라서 개인화의 기능이 단순한 성향 구분인지, 단어·행동의 순서에 의존하는지에 따라 통계 요약의 적합성이 달라집니다.
다만 실제 Transformer 임베딩에는 위치정보와 문맥정보가 이미 반영될 수 있습니다. 위 네 숫자의 예시만으로 삼성전자 출원의 실제 모델도 문장 순서를 모두 잃는다고 결론지을 수는 없습니다. 실제 성능을 검증하려면 임베딩의 차원, 위치인코딩, 집계축, 출력 헤드를 함께 비교해야 합니다.

6. 개인화의 효과를 입증하려면 비교실험도 구분해야 합니다
첫째, 동일한 기초모델과 사용자 데이터에서 CLS 토큰 방식, 평균 풀링, 평균·분산, 평균·분산·왜도 결합을 비교해야 합니다. 모델 조건을 고정해야 어떤 통계적 기술자가 개인화 결과에 기여했는지 분리할 수 있습니다.
둘째, 동일한 통계적 요약을 유지한 상태에서 어댑터 미사용·어댑터 순차학습·문제별 어댑터 선택을 비교할 수 있습니다. 새로운 작업에서의 정확도뿐 아니라 이전 작업 성능의 변화, 이른바 재앙적 망각(catastrophic forgetting)도 평가해야 합니다.
셋째, 전체 파인튜닝·일반 어댑터·LoRA의 학습 파라미터 수, RAM·VRAM 점유율, 지연시간, 배터리·전력소비를 같은 장치와 데이터 분포에서 측정해야 합니다. 공보의 FIG. 7~11 비교결과와 실제 개발팀 실험은 조건을 대조해야 하며, 서로 다른 시험의 성능 수치를 단순히 합산하거나 비교하지 않는 것이 좋습니다.

INTLAW 인사이트 — 모델 업데이트 여부가 아니라 기술의 처리관계를 남겨야 합니다
온디바이스 AI를 개발하는 기업은 사용자 데이터를 어디에서 수집하고 저장하는지, 임베딩이 어느 단계에서 생성되는지, 통계적 기술자가 무엇인지, 모델 파라미터와 어댑터 파라미터 가운데 실제로 변경되는 대상이 무엇인지 구별해 기록할 필요가 있습니다. 로컬 처리라는 사실만으로 개인정보·보안상 위험이 자동으로 사라지는 것도 아닙니다.
특허 명세서에서는 임베딩의 요약을 발명으로 볼지, 고정된 기초모델과 어댑터의 연결을 발명으로 볼지, 저랭크 가중치 갱신을 발명으로 볼지를 구별해야 합니다. 각 기술이 해결한 문제와 출력의 변화를 별도로 입증하면 독립항에 불필요한 구성요소를 덧붙이지 않으면서 후속 발명의 보호지점을 정리할 수 있습니다.
경쟁특허 FTO에서도 “제품이 LoRA를 쓴다” 또는 “기초모델을 재학습하지 않는다”는 사실만으로 침해 여부를 판단해서는 안 됩니다. 삼성전자 공개 제1항은 통계적 기술자와 개인화 출력의 관계에 초점이 있으며, 어댑터 학습은 제7·8항의 추가 한정입니다. 해당 공보는 미국 공개출원 A1이므로 현행 등록 여부·보정 후 청구범위와 법역별 권리상태는 공식 원부를 통해 별도로 확인해야 합니다.
AI 개인화의 기술자산을 설명하려면 모델의 가중치가 얼마나 바뀌었는지만 세어서는 부족합니다. 어떤 입력정보가 어떤 표현으로 변환됐고, 그 변화가 사용자별 기능에 어떻게 기여했는지를 재현할 수 있어야 합니다.
글 | 박시명 변리사관련 전문가: 강대환 변리사 — AI·소프트웨어 특허·IP-R&D
관련 글 · AI 경량화·양자화 · 관련 글 · 모델 변경과 특허 · AI·소프트웨어 전문분야 · 인사이트 목록으로

AI·소프트웨어,온디바이스AI,임베딩,AI개인화,LoRA,어댑터,특허