[AI·소프트웨어] 영상 AI는 물체를 기억할 때와 말로 찾을 때 다른 기술을 씁니다

핵심 요약

영상 속 물체를 기억하는 기술과 자연어로 지정한 객체를 픽셀 단위로 분할하는 기술은 다릅니다. Meta SAM 2와 NVIDIA의 공개특허 두 건을 실제 청구항과 데이터 흐름으로 비교합니다.

공장의 영상 AI에 “빨간 가방을 계속 추적하고, 가방이 출입구를 통과한 시점을 알려 달라”고 요청했다고 가정하겠습니다. 이 문장에는 서로 다른 기술 과제가 함께 들어 있습니다. 첫 프레임에서 가방을 지정하는 것, 그 가방이 사람 뒤에 잠시 가려져도 같은 객체로 추적하는 것, 그리고 긴 영상에서 출입구 통과 사건을 찾아 문장으로 답하는 것입니다.

세 과제는 모두 영상 AI에 속하지만 기억해야 할 데이터, 판단하는 공간·시간의 단위, 출력되는 결과가 다릅니다. 실제 논문과 특허청구항에서도 ‘프레임 간 객체 기억’, ‘자연어로 지정된 영역의 픽셀 분할’, ‘영상 이벤트를 질의하고 답하는 처리’를 별도의 기술구조로 확인할 수 있습니다.

1. Meta SAM 2는 이전 프레임의 정보를 기억해 마스크를 갱신합니다

Meta의 SAM 2 원연구(2024)는 영상과 이미지에 대한 프롬프트 기반 분할을 통합한 모델을 제시합니다. 사용자는 영상의 한 프레임에 점·상자·마스크를 지정하고, 모델은 스트리밍 메모리(streaming memory)를 이용해 후속 프레임의 객체를 계속 분할합니다. 새 프레임에서 예측이 틀리면 사용자가 다른 프레임에 보정 프롬프트를 추가할 수도 있습니다.

SAM 2의 중요한 중간구성은 현재 프레임의 영상 특징과 과거 프레임에서 생성한 객체 관련 특징·마스크 기억을 결합하는 메모리 어텐션입니다. 영상 인코더가 만든 현재 프레임 특징만으로 마스크를 계산하는 대신, 기존에 선택된 물체에 관한 정보를 다음 프레임의 분할에 반영합니다.

영상 속 객체가 일시적으로 가려지는 상황에서는 이전 기억이 도움이 될 수 있지만, 가려진 물체를 항상 정확히 재식별한다는 보장은 아닙니다. 여러 비슷한 가방이 서로 교차할 때 동일한 객체 ID를 유지하는지, 사용자가 중간에 얼마나 자주 보정해야 하는지, 프레임마다 마스크가 얼마나 정확한지를 측정해야 합니다. Meta가 발표한 상호작용 감소나 처리 속도 개선도 해당 연구의 비교조건에 관한 결과입니다.

2. NVIDIA 공개 제1항은 자연어를 픽셀 마스크로 연결합니다

이번에는 입력이 “영상 속에서 빨간 가방을 든 사람의 가방을 찾아라”라는 자연어라고 가정하겠습니다. 언어모델은 가방의 의미나 대략적 위치를 이해하더라도, 실제 이미지의 수많은 픽셀 중 어느 부분이 정확히 가방인지 표시하기 위해서는 추가 연산이 필요합니다.

NVIDIA의 미국 공개출원 US20260057636A1(2026년 2월 26일 공개)에서 독립 프로세서청구항 제1항은 다음의 처리관계를 포함합니다. 언어 데이터가 이미지 속 관심영역(ROI)을 설명하고, 하나 이상의 신경망이 그 의미정보를 이용해 이미지의 여러 위치를 ROI 내부 또는 외부로 분류합니다. 이어 그 위치 정보를 사용해 픽셀 수준 분할 마스크를 생성하고, 해당 마스크를 이용해 기계가 작업을 수행하도록 합니다.

이 공개항에서 주목할 점은 ‘물체를 찾는다’는 결과가 아니라 언어의 의미 → 다수 위치에 대한 내부·외부 판정 → 픽셀 마스크 → 기계의 작업이라는 연결입니다. 제2항은 다중모달 대형언어모델(MLLM)의 분류 역할을, 제3항은 Segment Anything Model(SAM)의 마스크 생성 역할을 추가로 구체화합니다. 따라서 SAM이라는 특정 모델 이름이 제1항의 직접 필수요건인 것처럼 읽지 않아야 합니다.

별도의 독립 방법청구항 제8항에서는 의미정보로 위치를 분류하는 첫 번째 신경망과 픽셀 마스크를 생성하는 두 번째 신경망의 분리 관계를 구체화합니다. 이는 청구항 형식과 필수 모델 구성의 차이가 실제 분석에 중요하다는 예입니다.

명세서의 FIG. 2~5는 양·음성 위치 프롬프트의 학습·추론 예를 설명하고, FIG. 6·7은 마스크 생성 흐름을 다룹니다. 사용자 지정 포인트가 소수라고 해서 전체 이미지의 신경망 처리량이 포인트 수에 정확히 비례해 줄어든다는 뜻은 아닙니다. 실제 계산량은 특징 추출·마스크 생성기의 범위에도 영향을 받습니다.

3. 긴 영상에서 사건을 답하는 기술은 픽셀 분할과 다릅니다

가방의 픽셀 마스크를 매 프레임 정확하게 만들었다고 해도 “언제 출입구를 통과했는가”에 바로 답할 수 있는 것은 아닙니다. 이 질문에는 시간순서, 객체의 위치관계, 사건 발생 구간, 관련 장면을 검색하는 능력이 필요합니다.

NVIDIA의 미국 공개출원 US20260011149A1(2026년 1월 8일 공개)의 독립 시스템청구항 제1항은 영상 속 이벤트에 관한 첫 번째 질의를 수신하고, 영상 임베딩과 제2질의를 영상모델에 입력해 첫 출력을 얻은 뒤, 이를 언어모델에 입력해 첫 질의에 관한 최종 출력을 생성하는 관계를 청구합니다.

여기서 중요한 점은 영상모델의 중간 결과를 언어모델이 다시 이용해 질문의 답을 만드는 처리입니다. 종속 제2항에서는 언어모델이 후속 질의를 생성하는 단계를, 종속 제3항에서는 시스템·장기·단기 맥락 중 하나 이상을 사용하는 단계를 추가합니다. 영상의 분할 및 임베딩 생성과 관련된 구체 단계는 제6항 등에 한정되어 있으므로, 제1항에 모든 장기기억 구조나 영상 구간분할 방식이 필수라고 해석해서는 안 됩니다.

예를 들어 ‘가방이 사라진 시간’을 찾는 기능은 영상의 특정 구간을 검색하고, 그 구간의 객체 상태를 평가한 뒤, 이전 프레임이나 다른 카메라의 정보를 참고할 수 있습니다. 그러나 영상모델이 해당 사건을 찾았다는 결과와 최종 답변이 실제 장면을 정확히 설명한다는 결과는 각각 검증해야 합니다. 장면에 없는 인과관계를 언어모델이 답으로 만들어 내지 않는지도 별도 시험 대상입니다.

4. 비슷한 영상 AI도 청구하는 입력·연산·출력이 다릅니다

두 NVIDIA 공보 모두 A1 공개출원이며, 관련 미국·한국·유럽의 최종 권리범위와 최신 심사상태는 출원 공보만으로 확정할 수 없습니다. 그와 별개로 실제 공개 제1항의 필수구성을 기술적으로 구분하는 데에는 유용한 자료입니다.

5. 작은 영역을 정확히 찾는 것과 계산이 작아지는 것은 다릅니다

영상 분할의 품질은 경계상자(bounding box)의 위치만으로 판단할 수 없습니다. 1,000×1,000픽셀 화면에서 제안한 상자가 50×50픽셀이라면 그 면적은 2,500픽셀로 전체의 0.25%입니다. 다만 해당 상자만 작다고 마스크를 만드는 데 필요한 이미지 특징계산도 자동으로 0.25%가 되는 것은 아닙니다.

마스크의 정확도를 보여주는 대표적인 지표가 IoU(Intersection over Union, 교집합/합집합)입니다. 실제 정답마스크가 100픽셀이고 예측마스크가 80픽셀이며 두 마스크가 60픽셀 겹친다면 다음과 같이 계산됩니다.

이 예에서 IoU는 0.50입니다. 이 수치가 실제 SAM 2나 NVIDIA 기술의 측정치인 것은 아닙니다. 경계상자를 대략 맞히는 기술과 실제 객체 경계의 픽셀을 정확히 분할하는 기술을 구별하기 위한 교육용 반례입니다. 여기에 시간축에서 객체가 바뀌는 ID switch까지 고려하면 추적 기술의 평가는 또 달라집니다.

세 기술을 하나의 ‘영상 AI 정확도’로 평가하면 개발의 원인을 파악하기 어렵습니다. 객체의 픽셀 윤곽이 틀린 것인지, 이전 프레임의 기억이 잘못 이어진 것인지, 관련 장면을 제대로 검색했지만 최종 언어 답변이 잘못 생성된 것인지 각각 다른 개발 조치가 필요합니다.

6. 특허 청구항과 시험기록은 같은 기술 단위를 기준으로 연결해야 합니다

연구개발 과정에서는 먼저 세 가지 시험을 분리할 필요가 있습니다. 첫째, 영상 프레임에서 가려짐·교차·유사 객체 등 조건을 바꿔 객체 기억과 마스크의 일관성을 확인합니다. 둘째, 자연어 표현을 바꿔 참조영역의 긍정·부정 위치 분류와 픽셀 마스크 품질을 측정합니다. 셋째, 사건 질문의 시점·영상길이·구간 검색조건을 바꿔 원 사건의 회수와 답변의 근거성을 검증합니다.

특허 명세서에서도 입력 프롬프트, 생성되는 중간 데이터, 기억의 갱신조건, 모델 사이 전달되는 출력, 최종 사용처를 식별해야 합니다. 단순히 “VLM을 사용한다”거나 “SAM을 적용한다”고 썼다는 사실만으로 새로운 발명이나 자유실시를 판단할 수 없습니다. NVIDIA의 언어참조 분할 공개항 제1항은 위치분류→마스크→기계작업이라는 처리 관계를, 영상 이벤트 질의응답 공개항 제1항은 영상모델 출력→언어모델 응답의 관계를 각각 중심에 둡니다.

선행기술 조사도 같은 방식으로 진행하는 것이 유용합니다. SAM 2 연구처럼 영상 기억 기반 분할이라는 공개 기술과, 특정 언어참조 분할 또는 이벤트 질의의 필수구성을 구분해 읽어야 합니다. 공개논문이 존재한다는 사실만으로 후속 공개출원의 모든 청구항이 이미 알려진 내용이라고 자동 판단할 수는 없으며, 출원·우선일과 특징별 원기재에 따라 검토 범위가 달라집니다.

INTLAW 인사이트 — 영상 AI의 기능이 아니라 ‘중간 판단이 바뀌는 지점’을 보호해야 합니다

기업이 영상 AI를 실제 제품에 적용한다면 개발로그를 최종 정확도 수치 하나로 묶기보다 기술적 실패의 지점을 분리해 기록하는 것이 중요합니다. 어떤 프레임에서 과거 기억을 불러왔는지, 언어가 지정한 객체의 위치를 어떻게 제안했는지, 어느 픽셀을 마스크에 포함했는지, 어떤 영상구간을 찾아 언어모델의 답변에 전달했는지를 구체화해야 합니다.

INTLAW의 관점에서 이러한 구분은 IP-R&D와 후속출원 후보 선정에도 연결됩니다. 시간기억과 객체 재식별, 언어참조 기반 위치 판정, 특정 사건 관련 영상구간 회수, 언어모델의 근거기반 답변은 각기 독립적인 개선 가능성을 갖습니다. 신규성·진보성의 실제 판단은 개별 발명의 선행기술과 차이, 기술효과에 기초해야 하지만, 발명 단위를 처음부터 구분할 때 청구항 설계와 시험자료의 대응관계가 명료해집니다.

특히 동일한 영상 AI 시스템에서도 객체마스크와 영상 이벤트 답변은 서로 다른 수준의 결과입니다. 제품이 어떤 질문에 답해야 하는지를 먼저 정하고, 그 답을 만들기 위해 필요한 프레임·픽셀·시간정보와 제어연산을 추적하는 방식이 기술보호의 실질적인 출발점이 될 수 있습니다.