[AI·소프트웨어] 영상 AI는 물체를 기억할 때와 말로 찾을 때 다른 기술을 씁니다

영상 속 물체를 기억하는 기술과 자연어로 지정한 객체를 픽셀 단위로 분할하는 기술은 다릅니다. Meta SAM 2와 NVIDIA의 공개특허 두 건을 실제 청구항과 데이터 흐름으로 비교합니다.

핵심 요약영상 속 물체를 기억하는 기술과 자연어로 지정한 객체를 픽셀 단위로 분할하는 기술은 다릅니다. Meta SAM 2와 NVIDIA의 공개특허 두 건을 실제 청구항과 데이터 흐름으로 비교합니다.

공장의 영상 AI에 “빨간 가방을 계속 추적하고, 가방이 출입구를 통과한 시점을 알려 달라”고 요청했다고 가정하겠습니다. 이 문장에는 서로 다른 기술 과제가 함께 들어 있습니다. 첫 프레임에서 가방을 지정하는 것, 그 가방이 사람 뒤에 잠시 가려져도 같은 객체로 추적하는 것, 그리고 긴 영상에서 출입구 통과 사건을 찾아 문장으로 답하는 것입니다.
세 과제는 모두 영상 AI에 속하지만 기억해야 할 데이터, 판단하는 공간·시간의 단위, 출력되는 결과가 다릅니다. 실제 논문과 특허청구항에서도 ‘프레임 간 객체 기억’, ‘자연어로 지정된 영역의 픽셀 분할’, ‘영상 이벤트를 질의하고 답하는 처리’를 별도의 기술구조로 확인할 수 있습니다.

1. Meta SAM 2는 이전 프레임의 정보를 기억해 마스크를 갱신합니다
Meta의 SAM 2 원연구(2024)는 영상과 이미지에 대한 프롬프트 기반 분할을 통합한 모델을 제시합니다. 사용자는 영상의 한 프레임에 점·상자·마스크를 지정하고, 모델은 스트리밍 메모리(streaming memory)를 이용해 후속 프레임의 객체를 계속 분할합니다. 새 프레임에서 예측이 틀리면 사용자가 다른 프레임에 보정 프롬프트를 추가할 수도 있습니다.
SAM 2의 중요한 중간구성은 현재 프레임의 영상 특징과 과거 프레임에서 생성한 객체 관련 특징·마스크 기억을 결합하는 메모리 어텐션입니다. 영상 인코더가 만든 현재 프레임 특징만으로 마스크를 계산하는 대신, 기존에 선택된 물체에 관한 정보를 다음 프레임의 분할에 반영합니다.

프레임 t₀사용자가 특정 가방을 점 또는 상자로 지정합니다.객체 프롬프트초기 마스크 M₀
메모리 상태이전 프레임의 객체 특징·마스크 관련 정보를 저장하고 다음 프레임의 참조에 이용합니다.객체 특징시간정보
프레임 t₁, t₂…현재 프레임 특징에 과거 기억을 반영해 마스크를 갱신합니다.갱신 마스크 Mₜ보정 가능
그림 1. SAM 2의 프레임 간 객체 기억 흐름을 재구성한 기술도식. 연구진의 공식 아키텍처·데모에서 설명하는 입력 프롬프트, 스트리밍 메모리, 마스크 갱신 관계를 정리했습니다. 특정 미국 특허청구항의 도면과 동일하게 취급하지 않습니다.
영상 속 객체가 일시적으로 가려지는 상황에서는 이전 기억이 도움이 될 수 있지만, 가려진 물체를 항상 정확히 재식별한다는 보장은 아닙니다. 여러 비슷한 가방이 서로 교차할 때 동일한 객체 ID를 유지하는지, 사용자가 중간에 얼마나 자주 보정해야 하는지, 프레임마다 마스크가 얼마나 정확한지를 측정해야 합니다. Meta가 발표한 상호작용 감소나 처리 속도 개선도 해당 연구의 비교조건에 관한 결과입니다.

2. NVIDIA 공개 제1항은 자연어를 픽셀 마스크로 연결합니다
이번에는 입력이 “영상 속에서 빨간 가방을 든 사람의 가방을 찾아라”라는 자연어라고 가정하겠습니다. 언어모델은 가방의 의미나 대략적 위치를 이해하더라도, 실제 이미지의 수많은 픽셀 중 어느 부분이 정확히 가방인지 표시하기 위해서는 추가 연산이 필요합니다.
NVIDIA의 미국 공개출원 US20260057636A1(2026년 2월 26일 공개)에서 독립 프로세서청구항 제1항은 다음의 처리관계를 포함합니다. 언어 데이터가 이미지 속 관심영역(ROI)을 설명하고, 하나 이상의 신경망이 그 의미정보를 이용해 이미지의 여러 위치를 ROI 내부 또는 외부로 분류합니다. 이어 그 위치 정보를 사용해 픽셀 수준 분할 마스크를 생성하고, 해당 마스크를 이용해 기계가 작업을 수행하도록 합니다.
이 공개항에서 주목할 점은 ‘물체를 찾는다’는 결과가 아니라 언어의 의미 → 다수 위치에 대한 내부·외부 판정 → 픽셀 마스크 → 기계의 작업이라는 연결입니다. 제2항은 다중모달 대형언어모델(MLLM)의 분류 역할을, 제3항은 Segment Anything Model(SAM)의 마스크 생성 역할을 추가로 구체화합니다. 따라서 SAM이라는 특정 모델 이름이 제1항의 직접 필수요건인 것처럼 읽지 않아야 합니다.
별도의 독립 방법청구항 제8항에서는 의미정보로 위치를 분류하는 첫 번째 신경망과 픽셀 마스크를 생성하는 두 번째 신경망의 분리 관계를 구체화합니다. 이는 청구항 형식과 필수 모델 구성의 차이가 실제 분석에 중요하다는 예입니다.
명세서의 FIG. 2~5는 양·음성 위치 프롬프트의 학습·추론 예를 설명하고, FIG. 6·7은 마스크 생성 흐름을 다룹니다. 사용자 지정 포인트가 소수라고 해서 전체 이미지의 신경망 처리량이 포인트 수에 정확히 비례해 줄어든다는 뜻은 아닙니다. 실제 계산량은 특징 추출·마스크 생성기의 범위에도 영향을 받습니다.

3. 긴 영상에서 사건을 답하는 기술은 픽셀 분할과 다릅니다
가방의 픽셀 마스크를 매 프레임 정확하게 만들었다고 해도 “언제 출입구를 통과했는가”에 바로 답할 수 있는 것은 아닙니다. 이 질문에는 시간순서, 객체의 위치관계, 사건 발생 구간, 관련 장면을 검색하는 능력이 필요합니다.
NVIDIA의 미국 공개출원 US20260011149A1(2026년 1월 8일 공개)의 독립 시스템청구항 제1항은 영상 속 이벤트에 관한 첫 번째 질의를 수신하고, 영상 임베딩과 제2질의를 영상모델에 입력해 첫 출력을 얻은 뒤, 이를 언어모델에 입력해 첫 질의에 관한 최종 출력을 생성하는 관계를 청구합니다.
여기서 중요한 점은 영상모델의 중간 결과를 언어모델이 다시 이용해 질문의 답을 만드는 처리입니다. 종속 제2항에서는 언어모델이 후속 질의를 생성하는 단계를, 종속 제3항에서는 시스템·장기·단기 맥락 중 하나 이상을 사용하는 단계를 추가합니다. 영상의 분할 및 임베딩 생성과 관련된 구체 단계는 제6항 등에 한정되어 있으므로, 제1항에 모든 장기기억 구조나 영상 구간분할 방식이 필수라고 해석해서는 안 됩니다.
예를 들어 ‘가방이 사라진 시간’을 찾는 기능은 영상의 특정 구간을 검색하고, 그 구간의 객체 상태를 평가한 뒤, 이전 프레임이나 다른 카메라의 정보를 참고할 수 있습니다. 그러나 영상모델이 해당 사건을 찾았다는 결과와 최종 답변이 실제 장면을 정확히 설명한다는 결과는 각각 검증해야 합니다. 장면에 없는 인과관계를 언어모델이 답으로 만들어 내지 않는지도 별도 시험 대상입니다.

4. 비슷한 영상 AI도 청구하는 입력·연산·출력이 다릅니다

시간기억·추적Meta SAM 2 연구영상 프레임 + 점·상자 프롬프트 + 과거 객체 기억프레임마다 갱신된 객체 마스크
언어참조·분할US20260057636A1언어로 지정한 ROI → 위치별 안팎 판정픽셀 분할 마스크 → 기계의 작업
이벤트 질의응답US20260011149A1영상 이벤트 질의 + 임베딩·하위 질의 → 영상모델 결과언어모델이 원 질의에 답변
그림 2. 세 자료의 기술적 처리대상 비교. 첫 줄은 학술모델, 둘째·셋째 줄은 서로 다른 2026년 미국 공개출원의 기술적 핵심관계입니다. 서로의 연구성과나 청구범위를 하나의 발명으로 합치지 않았습니다.
구분시간기억언어참조 픽셀분할영상 이벤트 질의응답
분석하는 단위프레임·객체 상태·마스크자연어·ROI·위치·픽셀영상 구간·이벤트·임베딩·질의
대표적 실패가려짐 뒤 대상이 바뀜참조대상 또는 윤곽을 잘못 찾음사건 시점·맥락을 잘못 답함
검증지표마스크 품질·객체 동일성·보정횟수참조영역 일치·마스크 IoU사건 회수율·시간오차·답변 근거성
원자료 법적 성격2024년 공개 연구2026년 미국 공개출원 A12026년 미국 공개출원 A1

두 NVIDIA 공보 모두 A1 공개출원이며, 관련 미국·한국·유럽의 최종 권리범위와 최신 심사상태는 출원 공보만으로 확정할 수 없습니다. 그와 별개로 실제 공개 제1항의 필수구성을 기술적으로 구분하는 데에는 유용한 자료입니다.

5. 작은 영역을 정확히 찾는 것과 계산이 작아지는 것은 다릅니다
영상 분할의 품질은 경계상자(bounding box)의 위치만으로 판단할 수 없습니다. 1,000×1,000픽셀 화면에서 제안한 상자가 50×50픽셀이라면 그 면적은 2,500픽셀로 전체의 0.25%입니다. 다만 해당 상자만 작다고 마스크를 만드는 데 필요한 이미지 특징계산도 자동으로 0.25%가 되는 것은 아닙니다.
마스크의 정확도를 보여주는 대표적인 지표가 IoU(Intersection over Union, 교집합/합집합)입니다. 실제 정답마스크가 100픽셀이고 예측마스크가 80픽셀이며 두 마스크가 60픽셀 겹친다면 다음과 같이 계산됩니다.
IoU = 60 / (100 + 80 − 60) = 0.50
이 예에서 IoU는 0.50입니다. 이 수치가 실제 SAM 2나 NVIDIA 기술의 측정치인 것은 아닙니다. 경계상자를 대략 맞히는 기술과 실제 객체 경계의 픽셀을 정확히 분할하는 기술을 구별하기 위한 교육용 반례입니다. 여기에 시간축에서 객체가 바뀌는 ID switch까지 고려하면 추적 기술의 평가는 또 달라집니다.
세 기술을 하나의 ‘영상 AI 정확도’로 평가하면 개발의 원인을 파악하기 어렵습니다. 객체의 픽셀 윤곽이 틀린 것인지, 이전 프레임의 기억이 잘못 이어진 것인지, 관련 장면을 제대로 검색했지만 최종 언어 답변이 잘못 생성된 것인지 각각 다른 개발 조치가 필요합니다.

6. 특허 청구항과 시험기록은 같은 기술 단위를 기준으로 연결해야 합니다
연구개발 과정에서는 먼저 세 가지 시험을 분리할 필요가 있습니다. 첫째, 영상 프레임에서 가려짐·교차·유사 객체 등 조건을 바꿔 객체 기억과 마스크의 일관성을 확인합니다. 둘째, 자연어 표현을 바꿔 참조영역의 긍정·부정 위치 분류와 픽셀 마스크 품질을 측정합니다. 셋째, 사건 질문의 시점·영상길이·구간 검색조건을 바꿔 원 사건의 회수와 답변의 근거성을 검증합니다.
특허 명세서에서도 입력 프롬프트, 생성되는 중간 데이터, 기억의 갱신조건, 모델 사이 전달되는 출력, 최종 사용처를 식별해야 합니다. 단순히 “VLM을 사용한다”거나 “SAM을 적용한다”고 썼다는 사실만으로 새로운 발명이나 자유실시를 판단할 수 없습니다. NVIDIA의 언어참조 분할 공개항 제1항은 위치분류→마스크→기계작업이라는 처리 관계를, 영상 이벤

AI·소프트웨어,영상AI,SAM2,객체추적,픽셀분할,VLM,특허분석