기술 업계에서는 추론, 인공지능(AI), 머신러닝(ML)을 언급하지 않고서는 대화를 할 수 없습니다. 그러나 이러한 용어는 모두 서로 연결되어 있지만 상당한 차이가 있다는 점에 유의하는 것이 중요합니다.
이 문서에서는 근본적인 차이점을 설명하고 특히 에지 및 임베디드 시스템에서 텐서 처리 기반 에지 AI 기술을 사용하는 것의 중요성을 강조합니다.{0}} 그래픽 처리 장치(GPU) 기반 솔루션에 비해 텐서 처리 장치(TPU)는 더 효율적이고 비용 효율적인 성능을 제공합니다.{2}} 또한 향후 엣지 AI 솔루션을 접할 수 있는 위치를 보여주는 몇 가지 사용 사례도 제공할 것입니다.
ML 및 추론의 기초
ML은 기계가 작업 수행 방법을 학습할 수 있도록 대표 데이터를 사용하여 모델을 훈련하는 방법론을 나타냅니다. 이 프로세스는 계산 집약적이어서 새로운 교육 데이터 포인트당 수조 개의 작업을 생성할 수 있습니다. 높은 정확도를 달성하는 데 필요한 막대한 교육 데이터 세트와 결합된 교육 프로세스의 반복적 특성으로 인해 매우 높은 성능의 부동 소수점 처리-에 대한 수요가 높아지고 있습니다. ML 교육은 데이터 센터 인프라로 가장 잘 구현됩니다. 여기서는 높은 자본 및 운영 비용을 수많은 고객에게 분할 상환하여 정당화할 수 있습니다.
추론에는 훈련된 모델을 사용하여 모델이 훈련된 대표 데이터와 관련된 새로운 데이터에 대한 잠재적 일치를 생성하는 작업이 포함됩니다. 추론은 밀리초 이내에 신속한 답변을 제공하는 것을 목표로 합니다. 추론의 예로는 음성 인식, 실시간{2}}언어 번역, 머신 비전, 광고 삽입 최적화 결정 등이 있습니다. 추론에는 교육에 필요한 처리 능력의 일부만 필요하지만, 특히 컴퓨터 비전 애플리케이션의 경우 기존 중앙 처리 장치(CPU){4}}기반 시스템이 제공할 수 있는 처리 능력을 훨씬 능가합니다. 이것이 바로 많은 기업이 에지에서 요구되는 1초 미만의 응답 시간을 달성하기 위해 SoC의 IP 또는 -시스템 가속기-와 같은 텐서-기반 가속 솔루션-으로 눈을 돌리는 이유입니다. 현실은 비전 시스템에서 이미지를 처리하는 데 1분 또는 몇 초만 소비하는 것은 그다지 유용하지 않다는 것입니다. 산업용 비전 시스템은 밀리초-수준의 처리 속도를 추구합니다.
훈련과 추론의 분리
추론 작업 부하를 처리하기 위해 학습에 사용되는 것과 동일한 하드웨어를 배포하면{0}}가속기 및 CPU 하드웨어가 포함된 추론 시스템이 과도하게 프로비저닝될 수 있습니다. 지난 10년 동안 ML용으로 개발된 GPU 솔루션이 반드시 ML 추론 기술의 대규모 배포를 위한 최적의 선택은 아닙니다.{2}} 아래 다이어그램은 TPU 가속기와 GPU 가속기의 비교를 완벽하게 보여줍니다. 이는 TPU 가속기가 GPU- 기반 AGX 솔루션에 비해 더 낮은 전력 소비, 비용 절감, 더 높은 효율성을 제공하는 동시에 추론 애플리케이션에 여전히 강력한 성능 수준을 제공한다는 것을 분명히 보여줍니다.
ML 훈련 및 추론 솔루션에 접근할 때 또 다른 중요한 고려 사항은 소프트웨어 환경입니다. 오늘날 NVIDIA GPU용 CUDA, TensorFlow 및 PyTorch와 같은 ML 프레임워크, Keras와 같은 최적화된 크로스{1}}플랫폼 모델 라이브러리 등 수많은 인기 라이브러리가 사용되고 있습니다. 이러한 툴킷은 ML 모델을 개발하고 교육하는 데 필수적이지만 추론 애플리케이션에는 다른 소규모 소프트웨어 도구 세트가 필요합니다.
추론 툴킷은 대상 플랫폼에서 모델을 실행하는 데 중점을 둡니다. 이는 일부 연산자 변환, 양자화 및 호스트 통합 서비스가 포함될 수 있는 훈련된 모델을 플랫폼으로 포팅하는 것을 지원합니다. 그러나 이는 모델 개발 및 훈련에 필요한 기능에 비해 상대적으로 간단한 기능 세트를 나타냅니다.
추론 도구는 모델의 표준화된 표현으로 시작하면 이점을 얻을 수 있습니다. ONNX(Open Neural Network Exchange)는 ML 모델을 표현하기 위한 표준 형식입니다. 이름에서 알 수 있듯이 Linux Foundation 프로젝트로 관리되는 개방형 표준입니다. ONNX와 같은 기술은 훈련 및 추론 시스템의 분리를 가능하게 하여 개발자가 각각에 대해 서로 다른 최적화된 플랫폼을 자유롭게 선택할 수 있도록 해줍니다.
예시적인 시각적 애플리케이션
ML 및 추론 프로세서 기술이 지속적으로 발전하고 발전함에 따라 애플리케이션도 급증하고 있습니다. 다음은 미래에 이 기술을 접할 수 있는 몇 가지 장소입니다.
공장, 병원, 소매점, 금융기관 등 기업의 엣지 서버입니다. 예를 들어 산업 환경에서 AI는 문제가 발생하기 전에 재고 관리, 결함 감지, 예측 유지 관리까지 지원할 수 있습니다. 소매업에서는 컴퓨터 비전을 사용하여 인간 자세를 감지하고 분석하는 자세 추정과 같은 기능을 지원합니다. 이 분석 데이터는 오프라인 소매업체가 매장 내의 인간 행동과 유동인구를 더 잘 이해하고 매출 및 고객 만족을 극대화하기 위해 매장 레이아웃을 최적화하는 데 도움이 됩니다.
로봇 공학, 산업 자동화/검사, 의료 영상, 과학 영상, 감시 및 물체 인식 카메라, 포토닉스 등의 응용 분야를 위한 고정밀/고품질{0}}고품질 이미징입니다. 예를 들어, 기계 학습 방법은 디지털 X-레이를 처리하여 암을 발견하는 능력을 입증했습니다. 이 프로세스에는 일반적으로 암성 병변을 식별하기 위해 훈련된 의미론적 분할 알고리즘을 사용하여 X{5}}선 이미지를 처리하도록 설계된 ML 모델을 개발하는 과정이 포함됩니다. 훈련 중에 방사선 전문의가 식별한 암 이미지는 무엇이 암이 아닌지, 암이 무엇인지, 그리고 다양한 유형의 암이 어떻게 나타나는지 네트워크에 가르치는 데 사용됩니다. ML 모델을 더 많이 훈련할수록 올바른 진단을 최대화하고 오진을 최소화하는 능력이 향상됩니다. 이는 기계 학습이 지능형 모델 설계뿐만 아니라 암이 전문적으로 식별된 신중하게 선별된 방대한 양(수만에서 수백만)의 데이터 사례에 동일하게 의존한다는 것을 의미합니다.
스마트 쇼핑 카트-여러 회사에서는 UPC 바코드가 아닌 포장 자체의 시각적 모양으로 제품을 인식하는 지능형 쇼핑 시스템을 개발 및 배포하고 있습니다. 이 기능을 사용하면 쇼핑객은 UPC 코드를 찾아 UPC 레이저 스캐너로 스캔할 필요 없이 간단히 품목을 카트나 결제 시스템에 넣을 수 있습니다. 이 기술은 쇼핑 과정을 더욱 정확하고, 빠르고, 편리하게 만들어줍니다.
올바른 결정 내리기
기업은 현재 사용 가능한 모든 솔루션을 평가하고 특정 사용 사례에 따라 최적의 솔루션을 선택해야 합니다. 또한 TPU{1}} 기반 솔루션은 더 높은 처리 효율성과 더 낮은 실리콘 사용률을 제공하여 전력 소비와 비용을 줄이기 때문에 모든 AI 솔루션이 GPU 기기에서 가장 잘 구현된다고 단순히 가정할 수도 없습니다.