[AI] 멀티모달 AI에서 영상과 언어의 결합을 보호하는 방법

영상과 언어를 어떤 기준으로 연결하고, 두 정보가 충돌할 때 어떻게 재확인하는지가 VLM 특허의 검토 지점입니다. 노타 VLM 과제를 수행한 인트로의 관점에서 기술의 차이를 살펴봅니다.

핵심 요약VLM의 차이는 영상과 언어를 단순히 함께 입력하는 데 있지 않습니다. BLIP-2의 Q-Former와 Flamingo의 Perceiver·교차어텐션이 정보를 연결하는 위치를 비교합니다.영상에 질문하고 답을 받는 기능을 제품에 넣었다면 범용 VLM의 기능과 자사가 설계한 기술을 나누어 볼 필요가 있습니다. 현장에서는 어떤 장면을 읽고 어떤 정보를 근거로 답을 확정하는지가 서비스의 신뢰도를 좌우할 수 있습니다.영상과 언어가 맞지 않을 때 재확인할 정보와 후속 처리를 정하는 과정도 특허의 검토 대상입니다. 노타 VLM 과제를 수행한 인트로는 이러한 입력의 결합과 판단 과정을 실제 제품의 처리 흐름에 연결해 권리화할 기술을 살펴봅니다.입력의 종류보다 연결 방식이 중요합니다VLM은 영상과 언어를 함께 다루는 모델입니다. 같은 영상과 질문을 받아도 어떤 영역을 선택하고 어떤 표현을 연결하는지에 따라 구현이 달라집니다. 특허 검토에서는 영상·텍스트라는 입력의 이름보다 서로의 정보를 어떻게 참조하고 판단에 반영하는지 설명해야 합니다.실제 논문으로 비교하는 영상·언어 연결 구조멀티모달 AI가 이미 알려진 기술임을 파악하려면 실제로 어느 부품에서 영상 표현을 언어 표현으로 바꾸는가를 비교해야 합니다. BLIP-2 (ICML 2023)는 고정된 사전학습 영상 인코더와 언어모델 사이에 Querying Transformer(Q-Former)를 두고, 영상·언어 표현 학습과 영상 조건부 언어생성을 두 단계로 학습합니다. Flamingo (2022)는 Perceiver Resampler로 시각 특징을 요약하고 고정 언어모델의 중간에 게이트가 있는 교차어텐션 층을 삽입하여 영상·텍스트가 교차하는 시퀀스를 처리합니다.INTLAW 자체 기술구조 비교 — 두 원문 논문의 공개 구조를 동일한 분석 질문에 맞춰 재분류했습니다.비교 항목BLIP-2Flamingo시각정보 요약학습 가능한 Q-Former의 질의 토큰으로 고정 영상 인코더의 출력에서 필요한 정보를 추출Perceiver Resampler가 영상·프레임의 특징을 고정 수의 시각 토큰으로 압축언어모델과 결합Q-Former 출력을 언어모델 입력 표현으로 연결하고, 영상 인코더와 언어모델은 고정한 채 중간 결합부를 학습고정 언어모델 중간에 gated cross-attention 층을 추가해 시각 표현을 주입주요 평가 질문학습 가능한 질의 수·시각 특징 선택·표현 정렬과 전이 성능영상/문장 교차 순서, 텍스트 토큰에서 어느 영상에 주의를 줄지 결정하는 마스킹두 방식 모두 영상·언어 모델을 결합하지만 학습되는 모듈, 언어모델에 정보를 전달하는 위치, 복수 영상 간 주의집중의 제어가 다릅니다. 가령 하나의 설비 영상에서 결함 영역을 찾는 과제와 시간순 여러 프레임을 보고 앞선 사건을 해석하는 과제에서는 오류를 일으키는 처리 단계가 다를 수 있습니다. 실제 발명자료에서는 시각 특징 개수, 질의 토큰 수, 교차어텐션 연결 위치, 영상/텍스트 간 마스킹, 동일 조건의 평가 지표를 기록해야 원리를 구체화할 수 있습니다.이 비교는 공개 논문의 기술구조 학습이며 두 논문에 대응하는 특허가 등록되어 있다거나 특정 구현이 해당 특허를 실시한다는 뜻이 아닙니다. 특허 검토 단계에서는 이처럼 차이를 만드는 구성별로 공개일과 관련 청구항의 독립항·종속항을 별도로 조사해야 합니다.불일치 상황을 구체화합니다가상의 설비 점검 서비스에서 영상에는 균열이 보이지만 설명 문서에는 정상이라고 기록돼 있다면 어느 정보를 우선할까요. 입력 신뢰도를 비교하거나 특정 영역을 재확인하는 기술이 있다면 그 조건과 후속 처리의 관계를 검토할 수 있습니다. 단순히 여러 정보를 종합한다는 표현보다 발명의 구조가 분명해집니다.평가자료도 입력 관계를 보여줘야 합니다전체 정확도만 비교하면 어떤 결합 방식이 효과를 냈는지 알기 어렵습니다. 영상 품질, 질문 유형, 정보 충돌 여부를 나누어 변경 전후를 비교하면 기술의 역할이 드러납니다. 명세서에서는 필요한 입력 특성과 처리 순서, 대안 구현을 함께 설명할 수 있습니다.노타 VLM 과제의 수행 경험을 연결합니다강대환·박시명 변리사는 노타의 2025년 VLM 기반 영상분석 IP-R&D를 함께 수행했습니다. 인트로는 현재 제품과 개발후보의 처리 흐름을 경쟁특허와 대조하고, 권리화할 기술관계를 구분합니다. 모델의 성능과 제품에서 보호할 부분을 연결하는 것이 검토의 중심입니다.원논문 그림에서 읽는 Q-Former의 기능Li 등, BLIP-2(ICML 2023)에서 영상 인코더는 고정되어 있고, Q-Former가 학습 가능한 query token을 통해 영상특징을 추출합니다. 원문 Figure 2는 세 가지 학습목표마다 attention mask가 어떻게 달라지는지, Figure 3은 Q-Former의 출력이 언어모델 입력에 어떻게 연결되는지 보여줍니다.Li et al., BLIP-2, ICML 2023, Figure 2·3 관련 저자 공개 설명도. 저자 프로젝트 원자료 · 원논문(PMLR)그림에서 query token은 영상 인코더의 feature를 cross-attention으로 읽지만 텍스트는 선택된 학습목표의 mask에 따라 다르게 연결됩니다. 따라서 산업용 VLM이 결함 판정이나 복수 프레임 검증을 새로 구현했다면, 단순한 VLM 도입이 아니라 query 수·cross-attention 위치·시간축 정보 결합·실패 재검증 조건 중 무엇을 바꾸었는지를 논문 선행구조에 대응시켜야 합니다.인트로 인사이트자사 VLM 제품에서 판단이 어려운 입력을 골라 추가로 확인할 정보와 결과를 확정하는 과정을 정리합니다. 범용 모델의 기능과 회사가 직접 설계한 처리를 구분하면 기술적 차이가 드러납니다. 그 차이가 서비스 신뢰도에 기여하는 이유를 설명하고, 청구항에 남길 처리관계를 검토해야 합니다.관련 자료강대환 변리사 수행 이력박시명 변리사 수행 이력특허법 제42조특허법인 인트로 AI·소프트웨어팀관련 전문가: 강대환 변리사노타 AI 특허와 연결된 인트로의 명세서 작성 특별상·수행평가 1위AI·소프트웨어 전문분야 · 인사이트 목록

AI·소프트웨어,AI 특허,인트로,강대환