[AI·소프트웨어] 학습데이터를 지워도 AI 모델은 왜 잊지 못할까?

핵심 요약

원본 데이터를 지워도 학습된 AI 모델이 해당 정보를 잊은 것은 아닙니다. PayPal과 Dalian 공개청구항은 각각 모델 노드 약화와 참여자 학습 기여 제거를 다룹니다.

기업이 운영하는 AI 고객지원 시스템에서 특정 기록을 삭제하라는 요청이 들어왔습니다. 운영팀은 원본 파일을 삭제하고 RAG 검색 인덱스에서도 해당 문서를 제외했습니다. 이제 “AI가 그 기록을 완전히 잊었습니다”라고 설명할 수 있을까요?

모델이 그 정보를 검색해서 답했던 경우와, 그 정보를 학습에 이미 사용했던 경우의 기술적 상태는 다릅니다. 원본 파일 삭제, 검색색인 제외, 학습 파라미터의 영향 제거, 출력 차단은 각각 별도의 처리행위입니다. 이 네 가지를 하나의 ‘삭제’로 묶으면 실제 제품의 작동과 청구항에서 보호하는 기술 모두 불명확해집니다.

NIST의 machine unlearning 정의는 특정 데이터가 이미 학습된 모델에 미친 영향을 선택적으로 제거하는 기술을 의미합니다. 전체 모델을 처음부터 재학습하지 않고 근사적으로 영향 제거를 수행할 수도 있습니다. 핵심은 요청받은 데이터가 어디에 남았고, 어떤 모델 상태를 실제로 변경했는지를 분리하는 데 있습니다.

1. AI에서 ‘데이터를 지웠다’는 말이 가리키는 네 가지 객체

예를 들어 RAG의 특정 문서를 삭제한 후에도 모델이 유사한 정보를 답변한다면, 남아 있는 학습 영향인지 다른 공개자료에서 나온 지식인지 검증해야 합니다. 반대로 모델이 답변을 거절하더라도 출력 정책만 달라졌을 가능성이 있으므로 그 자체를 모델 언러닝의 증거라고 볼 수는 없습니다.

2. Google의 언러닝 연구에서 중요한 것은 ‘재학습 기준모델’입니다

Google Research의 2023년 Machine Unlearning Challenge는 기존 모델, 망각 대상(forget set), 유지 데이터(retain set)와 함께 망각 대상을 제외하고 처음부터 다시 훈련한 모델을 비교 기준으로 사용했습니다. 언러닝 모델이 삭제 대상의 영향을 줄였는지 보면서도 정상 작업의 성능과 계산비용을 함께 측정해야 하기 때문입니다.

망각 효과의 평가는 하나의 출력문장만으로 끝나지 않습니다. 특정 데이터가 학습에 포함됐는지 추론하는 Membership Inference Attack(MIA), 유지셋의 정확도, 전체 재학습 대비 시간·연산량 등을 별도로 측정해야 합니다. MIA 결과는 정해진 공격·데이터 조건에서 해석하는 것이므로 한 번의 공격 실패를 곧 ‘완전 삭제’라고 볼 수는 없습니다.

NeurIPS 2023의 SCRUB 연구는 잘못된 라벨 제거, 편향 수정, 이용자 개인정보 보호 등 망각의 목적별로 적합한 지표가 달라질 수 있음을 다룹니다. 즉 언러닝은 모델을 단순히 덜 잘 작동하도록 만드는 기술이 아니라 특정 영향만 줄이면서 유용한 기능을 보존하는 최적화 문제입니다.

3. PayPal 미국 공개출원: 콘텐츠에서 ‘관련 개념과 모델 노드’까지 추적합니다

PayPal의 미국 공개출원 US20260087104A1(2026년 3월 26일 공개) 제1항은 언러닝 요청을 받은 콘텐츠가 학습데이터·모델 출력·소스코드 중 어디에 존재하는지 점검하고, 해당 콘텐츠와 관련된 개념을 벡터 공간으로 매핑합니다. 이후 모델의 그래프 표현에서 그 개념에 관련된 노드를 찾아 파라미터를 선택적으로 약화(selective parameter dampening)합니다.

이때 모델 그래프의 노드는 앞서 다룬 GraphRAG의 엔터티 지식그래프 노드와 같은 의미라고 단정할 수 없습니다. PayPal의 독립 제1항에서는 콘텐츠의 학습된 개념과 모델 내부 노드를 연결해 파라미터를 변경하는 구조가 중심입니다. 또한 성능평가와 언러닝 증빙 발급을 독립 제1항의 모든 실시형태에서 필수라고 해석하면 종속 제8·9항의 추가 한정을 놓치게 됩니다.

4. Dalian University 공개출원: 특정 참여자의 학습 기여를 되돌립니다

Dalian University의 미국 공개출원 US20250232186A1(2025년 7월 17일 공개)은 연합학습(Federated Learning)의 특정 악성 참여자에 초점을 맞춥니다. 연합학습에서는 여러 클라이언트가 로컬 데이터로 훈련한 모델 업데이트를 서버에서 집계합니다. 문제가 있는 참여자의 기여를 제거하려면 라운드별 파라미터 업데이트 ΔM을 추적할 수 있어야 합니다.

독립 제1항은 CNN 모델·클라이언트 구성, 서버의 benchmark 데이터셋, 악성 참여자의 라운드별 업데이트 저장, 그 기여 제거, 정확도에 따른 조기종료 판단, benchmark로 모델 성능을 회복한 후 최종시험까지 포함합니다. 반면 PayPal 제1항은 콘텐츠의 의미적 개념에 기초해 모델 노드를 약화합니다.

따라서 사용자 데이터 삭제요청이 있었던 모든 AI 서비스가 이 두 공개항을 똑같이 실시하는 것은 아닙니다. 콘텐츠→개념→노드와 클라이언트→라운드→업데이트라는 서로 다른 처리관계를 실제 제품에서 확인해야 합니다.

5. 연합학습 업데이트의 ‘단순 감산’과 ‘참여자 재평균’은 값이 다릅니다

네 클라이언트가 한 라운드에서 각각 1.0, 0.5, −0.5, 4.0의 스칼라 업데이트를 서버에 보냈다고 가정하겠습니다. 마지막 값 4.0은 제거할 참여자의 기여입니다. 전체 네 명의 단순 평균 업데이트는 다음과 같습니다.

기존 평균에서 악성 참여자의 몫인 4/4를 단순 감산하면 0.25입니다. 그러나 나머지 세 참여자만으로 평균을 다시 계산한다면 (1.0 + 0.5 − 0.5) / 3 = 0.3333이 됩니다. 단순 감산과 참여자 수를 다시 반영한 재계산은 서로 다른 연산입니다.

Dalian 명세서 식(9)은 이처럼 기존 집계값과 제거할 업데이트의 계수를 조정해 정상 참여자의 기여를 재산정하는 관계를 설명합니다. 다만 실제 딥러닝은 여러 라운드의 비선형 최적화이므로 한 라운드에서 같은 평균을 얻었다는 이유로 처음부터 다시 학습한 모델과 완전히 동일하다고 볼 수는 없습니다. 그래서 학습 성능 보정과 최종시험이 별도로 필요합니다.

6. 모델이 실제로 잊었는지 검증하는 세 가지 관점

특정 문장에 답하지 못하도록 모델을 전체적으로 손상시키는 방법은 겉보기 망각 성공을 높일 수 있어도 정상 기능을 악화시킬 수 있습니다. 반대로 정상 기능이 유지되더라도 삭제 대상의 영향이 남아 있다면 망각 목적을 충분히 달성하지 못합니다. 망각과 성능 보존을 같은 시험설계 안에서 함께 보아야 하는 이유입니다.

INTLAW 인사이트 — 삭제 요청을 ‘학습·검색·모델’의 증거체계로 연결해야 합니다

기업이 언러닝 기능을 개발한다면 첫 번째 산출물은 삭제 요청의 처리계보입니다. 원본 데이터·백업·RAG 인덱스·모델 학습셋·체크포인트·현재 배포 모델을 구분하고, 어느 객체를 삭제하거나 다시 생성했는지 표시해야 합니다. 모든 제품이 같은 범위를 처리한다는 전제부터 제거할 필요가 있습니다.

두 번째는 청구할 기술의 단위를 선택하는 일입니다. 콘텐츠 개념과 모델 내부 노드의 관계를 추적하는 발명인지, 연합학습 참여자별 업데이트를 회수·보정하는 발명인지, 언러닝 효과를 재학습 기준·유지 기능과 비교하는 발명인지에 따라 입력값·중간 연산·출력·효과 증거가 달라집니다. PayPal과 Dalian의 두 공개항은 이런 차이를 확인하는 실제 출발점입니다.

세 번째는 기술적 언러닝과 법률상 삭제의무를 구별하는 것입니다. 모델의 작동을 바꿨다는 기술적 기록만으로 개인정보·저작권·계약에 관한 모든 요구가 충족된다고 단정할 수는 없습니다. 이번 두 공보 역시 미국 공개출원 A1이므로 최종 등록 여부와 국가별 권리범위는 별도 확인이 필요합니다.

“삭제 기능이 있는가”보다 중요한 질문은 “삭제 요청으로 어떤 데이터와 파라미터가 실제로 바뀌었고, 바뀐 모델이 무엇을 잊고 무엇을 유지하는지 재현할 수 있는가”입니다. 그 답을 모델 실험기록과 청구항에 함께 담을 때 삭제·언러닝 기술은 독립된 기술자산으로 설명될 수 있습니다.