RK3588'in 6TOPS Darboğazının Derinlemesine Yorumu ve NPU Hesaplama Gücü Hakkındaki Gerçek

RK3588 ile bir AI projesinde çalıştığınızı düşünün: Kamera video akışının gerçek zamanlı yüz tanıma ve araç tespiti yapması gerekir. Aynı zamanda kullanıcı arayüzü ekranını, veri yüklemesini,ve iş mantığı işlemeFark ediyorsunuz: çerçevede çok fazla nesne olduğunda, büyük modeller sorunsuz çalışmadığında ve sıcaklık keskin bir şekilde yükseldiğinde çerçeve düşmeleri meydana gelir.

Bu noktada, insanlar genellikle şöyle der: "Modeliniz çok büyük" RK3588'in 6TOPS yeterli değil. "

Peki bu gerçekten bir hesaplama gücünün eksikliği midir? Hiç merak ettiniz mi: Neden bir 6TOPS NPU hala bir 4TOPS modelini çalıştırırken kare düşüşleri ve gecikmeler yaşar?Cevap NPU'nun bilgisayar gücünün üç boyutunda yatıyor.:En yüksek performans (TOPS),Kesinlik (INT8/FP16), veVerimlilik (bant genişliği).

Çeşitli yongaların NPU özelliklerini vurguladığını göreceksiniz, temel bir parametresi belirgin bir şekilde görüntülenmiştir: NPU Bilgisayar Gücü: X TOPS. Örnekler arasında RK3588-6TOPS, RK3576-6TOPS,RK1820-20TOPS, Hi3403V100-10TOPS, Hi3519DV500-2.5TOPS, Jetson Orin Nano-20/40TOPS, Jetson Orin NX-70/100TOPS, vesaire...

Tera: 1012'yi temsil ediyor.

saniyede işlemler: NPU'nun bir saniyede gerçekleştirebileceği AI işlemlerinin toplam sayısını ifade eder. 1 TOPS, NPU'nun saniyede 1 trilyon (1012) işlem gerçekleştirebileceği anlamına gelir.

MAC Birimlerinin toplam sayısı sinir ağının çekirdeğidir.Ana hesaplama, giriş verilerini ağırlıklarla çarpmayı ve ardından sonuçları toplamayı içerir..

NPU'nun tasarım felsefesi, paralel MAC ünitelerinin son derece büyük bir dizi sahip olmaktır.Büyük ölçekli paralel hesaplama elde etmek için eşzamanlı olarak çalışabilecek.

MAC birimleri ne kadar çok olursa, NPU'nun tek bir saat döngüsünde tamamlayabileceği hesaplama miktarı o kadar büyüktür.

Saat Sıklığı: NPU çipinin ve MAC ünitelerinin saniyede çalıştığı döngü sayısını belirler (Hertz, Hz'de ölçülür).Daha yüksek bir frekans, MAC dizininin birim zaman başına daha fazla çarpma-toplama işlemleri gerçekleştirmesini sağlarÜreticiler TOPS'i duyurduğunda, NPU'nun en yüksek çalışma frekansını (yani, ulaşılabilir maksimum frekans) kullanırlar.

MAC başına işlemler: Tam bir MAC işlevi aslında bir çarpım ve bir ekleme içerir.birçok hesaplama standardı bir MAC işlemini 2 temel işlem olarak sayar (1 çarpma ve 1 toplama için).

Kesinlik faktörü: Bir NPU'nun MAC birimleri düşük hassasiyetli verilerin işlenmesi için optimize edilmiştir (örneğin, INT8).

INT8 vs FP32'nin basitleştirilmiş hızlandırma oranı: 32 bit / 8 bit = 4 olduğundan, tek bir FP32 birimi teorik olarak INT8 hesaplamasına geçtiğinde bir döngüde 4 kat daha fazla işlem yapabilir.,Eğer bir üreticinin TOPS'i INT8'e dayanarak hesaplanırsa, hassasiyetle ilgili bir hızlanma oranıyla çarpılmalıdır.

TOPS, teorik işlem gücünün en yüksek seviyesini ölçer.NPU'nun gerçek etkili işlem gücü genellikle bu zirve değerinden daha düşüktür..

Bilgisayar gücü bize bir NPU'nun ne kadar hızlı çalıştığını söylerken, hesaplama hassasiyeti bize ne kadar iyi çalıştığını söyler.hesaplama sırasında kullanılan bit sayısını ve verilerin temsil aralığını belirlemek.

Aynı TOPS düzeyinde, INT8'in gerçek işlem hızı FP32'den çok daha hızlıdır.

Üreticiler tarafından iddia edilen NPU TOPS'ler genellikle INT8 hassasiyetine dayanır. Karşılaştırmalar yaparken, TOPS'leri aynı hassasiyet altında karşılaştırdığınızdan emin olun.

• FP32 (Tek hassasiyetli yüzen nokta, 32 bit): En büyük sayısal aralığı ve hassasiyeti sunar. Geleneksel GPU ve PC bilgisayarda yaygın olarak kullanılır. Modeller genellikle doğruluğu sağlamak için eğitim aşamasında FP32'yi benimser.
• FP16/BF16 (Yarı hassas yüzen nokta, 16 bit): Belirli bir hassasiyet seviyesini korurken veri hacmini yarıya düşürerek daha hızlı hesaplama ve bellek tasarrufu sağlar.

• INT8 (8 bit tamsayı): Şu anda kenar yan NPU'ların çıkarım performansını değerlendirmek için endüstri standardı.FP32) 8 bit tam sayılar için Kuantisasyon denir.
• INT4 (Aşağı Bit Genişliği): Güç tüketimi ve gecikme için son derece yüksek gereksinimleri olan senaryolar için uygun olan daha fazla sıkıştırma özelliği, ancak model hassasiyet kaybını kontrol etmek için daha yüksek talepler getirir.

Bir NPU'nun 20 TOPS (INT8) iddia ettiğini gördüğünüzde şunu anlamalısınız:

• Bilgisayar gücünün en yüksek seviyesi saniyede 20 trilyon işlemdir.
• Bu hesaplama gücü, 8 bit tamsayı (INT8) hassasiyetinde ölçülür. Bu, esas olarak eğitim için değil, AI çıkarımı (örneğin görüntü tanıma, konuşma işleme, vb.) için kullanıldığı anlamına gelir.
• Son performans uygulamaya bağlıdır: Gerçek kullanıcı deneyimi (yüz kilidini açma hızı, gerçek zamanlı çeviri gecikmesi gibi) sadece NPU'nun TOPS'lerine değil aynı zamanda:
  • Model kvantifikasyon kalitesi: Kvantize edilmiş INT8 modelinin yeterli doğruluğu koruyup korumadığı.
  • Hafıza bant genişliği: Verilerin giriş ve çıkış hızı.
  • Yazılım yığını ve sürücüleri: Çip üreticisi tarafından model dağıtımı için sağlanan araç zincirinin ve sürücülerin optimize seviyesi.

Bir NPU'nun hesaplama gücü (TOPS), hızının bir göstergesidir, ancak hesaplama hassasiyeti (örneğin, INT8) verimliliğinin ve uygulanabilirliğinin anahtarıdır.Üreticiler genellikle kabul edilebilir hassasiyet kaybını korurken INT8 TOPS'i en üst düzeye çıkarmayı amaçlarlar., düşük güç ve yüksek verimlilikli AI çıkarım performansı elde etmek için.