[AI] AI 반도체와 모델 최적화의 공동 설계가 특허로 남는 지점

연산 방식과 하드웨어 자원의 관계를 함께 보아야 소프트웨어·장치 사이의 기술을 설명할 수 있습니다.

핵심 요약AI 반도체에서 연산량 절감과 실행시간 개선은 같은 문제가 아닙니다. TVM·Ansor의 그래프·스케줄 최적화와 중간 텐서의 메모리 이동량을 연결해 살펴봅니다.AI 모델을 특정 반도체에서 더 빠르고 적은 전력으로 실행하려면 알고리즘과 하드웨어를 함께 조정해야 합니다. 출원 자료가 모델 설명과 칩 사양으로 나뉘면 두 영역을 연결하며 만든 기술이 빠질 수 있습니다.연산량과 데이터 이동·저장의 변화가 함께 성능에 영향을 준다면, 장치의 제약과 이를 해결한 변환·제어를 한 흐름으로 읽어야 합니다. 이 관계를 정리해야 소프트웨어와 장치 중 어디를 중심으로 보호할지 판단할 수 있습니다.모델과 장치를 따로 보면 차이가 빠집니다같은 모델도 연산기의 지원 형식, 메모리 용량, 데이터 이동 구조에 따라 성능이 달라집니다. 가령 특정 장치에 맞춰 연산을 재배치하는 기술이라면 모델 변환과 실행 자원의 관계가 핵심일 수 있습니다. 모델 최적화와 칩이라는 두 분야 이름을 나열하기보다 어떤 제약을 어떻게 해결했는지 연결해야 합니다.연산량 감소와 실행시간 감소를 구분합니다연산 수를 줄여도 메모리 이동이 늘면 실제 속도가 기대만큼 개선되지 않을 수 있습니다. 특허 명세서에는 어떤 자원이 병목이었고 어떤 변경으로 그 병목을 줄였는지 설명해야 합니다. 동일 장치와 입력 조건에서 지연시간·메모리·전력 등의 비교 자료를 준비하면 효과의 근거가 구체화됩니다.연산 그래프 최적화와 텐서 스케줄링은 서로 다릅니다TVM(OSDI 2018)은 AI 컴파일러에서 그래프 수준의 연산자 융합과 연산자 내부의 하드웨어별 스케줄 최적화를 구분합니다. Ansor(OSDI 2020)는 텐서 프로그램의 후보 스케줄을 생성한 뒤 진화적 탐색·학습된 비용모델과 복수 서브그래프의 작업 스케줄러로 최적화합니다. 따라서 같은 '컴파일러 최적화'라도 그래프를 합치는 규칙, 반복문 순서·타일 크기를 고르는 규칙, 측정 결과로 후보를 갱신하는 규칙은 다른 기술구성입니다.NVIDIA TensorRT의 레이어 융합 설명에 따르면 예를 들어 Convolution과 ReLU를 하나의 커널로 융합하면 커널 호출 수와 중간 텐서의 메모리 왕복을 줄일 수 있습니다. 다만 모든 연산 패턴이 융합 가능한 것은 아니며 장치의 메모리·연산 자원, 정확성 유지 조건이 전제됩니다.INTLAW 자체 계산 예제. 가상의 중간 활성텐서가 256×256×64개의 FP32(원소당 4바이트) 값이면 그 크기는 16MiB입니다. 융합 전 두 연산 사이에서 이 텐서를 외부 메모리에 한 번 쓰고 한 번 다시 읽는다면 약 32MiB의 중간 데이터 이동이 발생합니다. 중간 결과를 메모리에 기록하지 않고 융합 커널 내부에서 처리한다면, 이상적으로 이 왕복 이동을 줄일 여지가 있습니다. 단 이 수치는 DRAM·캐시 계층과 접근 패턴을 단순화한 가상 계산이며 실제 제품의 전력·지연 감소량은 아닙니다.출원 후보를 특정하려면 (1) 어떤 그래프 패턴에서 융합을 허용하고, (2) 어떤 연산·메모리 제약을 보고 타일·병렬화를 선택하며, (3) 실행 전후 중간 텐서 생성량·메모리 트래픽·커널 호출 수가 어떻게 달라지는지 연결해야 합니다. **TVM·Ansor·TensorRT처럼 이미 공개된 기법 자체**와 회사가 별도로 설계한 제약 판별·탐색·실행 제어를 구별한 뒤 관련 특허 청구항과 대조하는 편이 권리화 범위를 정하는 데 유용합니다.보호 대상의 층을 정합니다컴파일 단계의 변환, 실행 중 스케줄링, 메모리 제어, 연산기 구조 중 어디에 차이가 있는지 구분합니다. 장치 구조에만 묶을지, 여러 장치에서 쓰이는 처리 방법으로 설명할 수 있을지 검토하고 명세서의 대안 구현과 대조합니다. 여러 하드웨어를 포괄하더라도 성능 개선을 만드는 자원 제약과 처리관계는 구체적으로 남겨야 합니다.개발팀 간 자료를 연결합니다알고리즘팀의 연산 그래프와 하드웨어팀의 자원 배치도를 같은 처리 순서로 맞춰 보면 권리화 후보가 선명해집니다. 인트로는 AI·소프트웨어와 전자·시스템의 접점에서 보호할 기술을 검토하고, 제품 구현과 청구항을 연결합니다.중간 텐서 하나의 메모리 이동량이 얼마인가TVM(OSDI 2018)은 그래프 융합과 장치별 텐서 연산 스케줄을 구별하고, Ansor(OSDI 2020)는 후보 스케줄을 자동 생성·평가하는 최적화 과정을 확장합니다. 실제 칩에서 의미 있는 성능향상이 왜 발생했는지 이해하려면 데이터 이동량을 수식으로 점검할 필요가 있습니다.가상 중간 활성 텐서계산데이터 크기256 × 256 × 64, FP324,194,304원소 × 4바이트16MiB커널 분리, 중간 결과 저장1회 기록 + 1회 읽기32MiB의 논리적 이동융합 가능한 패턴중간 텐서의 외부 저장·재읽기 생략 가능최대 32MiB 이동 회피 가능성이 크기는 캐시 재사용·메모리 계층·타일링을 무시한 논리적 데이터 양이며 실측 GPU DRAM 트래픽은 아닙니다. 기술적 발명은 그래프의 어떤 패턴에서 융합을 허용하고, 어떤 메모리·온칩 자원 제약에 따라 그 융합을 해제하거나 다른 스케줄을 선택하는지에 있을 수 있습니다.인트로 인사이트알고리즘팀과 하드웨어팀의 자료를 같은 제품 버전으로 맞추고, 성능을 제한한 자원과 그 제약을 줄인 변경을 연결합니다. 이어 다른 장치에서도 같은 처리가 작동하는 조건을 확인하면 특정 칩에 필요한 구성과 여러 제품세대에 활용할 구성을 구분할 수 있습니다. 보호범위도 이 기술적 관계를 기준으로 검토해야 합니다.관련 자료EPO AI·기계학습 심사 지침특허법 제42조특허법인 인트로 AI·소프트웨어팀관련 전문가: 백종웅 변리사노타 AI 특허와 연결된 인트로의 명세서 작성 특별상·수행평가 1위AI·소프트웨어 전문분야 · 인사이트 목록

AI·소프트웨어,AI 특허,인트로,백종웅