Yapay Zeka Hesaplaması Ana SoC'den Daha Fazlası! RK3588 Sisteminde RK1820'nin Gerçek Rolüne Açık Bir Bakış

Neden giderek daha fazla uç cihaz NPU'lardan ve yardımcı işlemcilerden bahsediyor? RK3588 zaten güçlü bir 6 TOPS (INT8) SoC'dir, ancak çok görevli çıkarım, model paralelliği ve video-AI analizi gibi karmaşık sahnelerde tek bir çipin hesaplama tavanı hala mevcut. RK1820 tam olarak yükün o dilimini devralmak ve ana SoC'nin "hesaplama kaygısını" gidermek için oluşturuldu. Uç-AI ekipmanlarında ana işlemci artık yalnız savaşmıyor; AI görevleri geleneksel CPU/NPU'nun planlama kapasitesini aştığında, yardımcı işlemci sessizce devreye girer ve akıllı iş yükünün bir kısmını üstlenir.

RK1820, AI çıkarımı ve hesaplama genişletmesi için özel olarak üretilmiş bir yardımcı işlemcidir; RK3588 ve RK3576 gibi ana SoCler ile esnek bir şekilde eşleşir ve PCIe veya USB arayüzleri aracılığıyla onlarla verimli bir şekilde iletişim kurar.

RK3588 + RK1820 sisteminde, AI görev hattı dört katmanlı bir mimariye ayrılmıştır:
Uygulama → Ara Katman → Yardımcı İşlemci Yürütme → Kontrol ve Sunum.
RK3588 ana bilgisayarı: görev planlamayı, veri ön işlemesini ve sonuç çıktısını yönetir, tüm iş akışını yönetir.
RK1820 yardımcı işlemcisi: yüksek hesaplamalı AI çıkarımına adanmıştır, PCIe aracılığıyla ana bilgisayara bağlanır ve bir "hafif kontrol + ağır hesaplama" işbirliği modeli oluşturur.

Uygulama katmanı, her AI görevinin başladığı yerdir; kullanıcı gereksinimlerini (görüntü analizi, nesne algılama, uç tarafı LLM S&C vb.) sistem tarafından yürütülebilir görev komutlarına çevirir ve bunları standartlaştırılmış API'ler aracılığıyla ara katman katmanına iletir. Bu katman tamamen RK3588 ana bilgisayarı tarafından yönetilir ve kullanıcı etkileşimini, iş mantığını ve çevresel verileri yönetir.

Görev alımı: kameralar, dokunmatik paneller, Ethernet, UART vb. aracılığıyla kullanıcı komutlarını alır.

• Akıllı güvenlik: video karelerinde kişileri algılar
• Endüstriyel denetim: ürünlerdeki yüzey kusurlarını belirler
• Uç LLM: ses girişini metne dönüştürür ve bir S&C görevi oluşturur

Komut standardizasyonu: yapılandırılmamış girişi yapılandırılmış görev parametrelerine dönüştürür

• Görsel görev: giriş çözünürlüğü, model sürümü, çıktı gereksinimleri
• LLM görevi: giriş tokenleri, model sürümü, maksimum çıktı uzunluğu

Ara katman, işbirliğine dayalı merkezdir: her görevi değerlendirir, kaynakları tahsis eder, verileri ön işler ve veri yolu trafiğini yönetir. Görevin ana bilgisayarda mı çalışacağına yoksa yardımcı işlemciye mi boşaltılacağına karar verir.
Yalnızca RK3588; RK1820, PCIe yapılandırmasına veya kesme yönetimine dahil olmaz; yalnızca ana bilgisayar tarafından gönderilen çıkarım işlerini yürütür.

Görev sınıflandırması ve planlama

• Yerel işleme: düşük hesaplamalı veya gecikme süresi kritik görevler (görüntü ölçekleme, hafif AI çıkarımı) RK3588 CPU/NPU/RGA tarafından işlenir.
• RK1820'ye boşaltma: yüksek hesaplamalı görevler (YOLOv8 çoklu sınıf algılama, LLM çıkarımı, anlamsal segmentasyon) RK1820'ye gönderilir. RK1820 devraldıktan sonra, ana bilgisayar CPU/NPU diğer işler için serbest bırakılır.

Veri ön işleme

• Görsel: kırpma, gürültü giderme, normalleştirme, kanal yeniden sıralama.
• Metin: tokenleştirme, doldurma, kodlama.

Veri yolu iletişim kontrolü

• PCIe veya USB3 aracılığıyla bağlantı kurar.
• Veri aktarımı DMA kullanır, CPU müdahalesi yoktur.
• Çıkarım kontrol komutları yayınlar: NPU'yu başlat, hassasiyeti ayarla, tamamlama kesmesini yükselt.

Bu katman, yüksek hesaplamalı AI çıkarımına adanmış, yalnızca RK1820 yardımcı işlemcisi tarafından yönlendirilen çıkarım çekirdeğidir.
RK1820 etkin; RK3588 çıkarıma müdahale etmez, yalnızca sonuçları bekler. Zaman aşımı veya istisnalar PCIe sıfırlama komutları aracılığıyla RK3588 tarafından işlenir.

Görev alımı ve hazırlığı

RK3588 tarafından gönderilen verileri, model ağırlıklarını ve komutları alır; bunları yerel yüksek bant genişliğine sahip DRAM'e yazar, modeli yükler ve NPU'yu yapılandırır.

NPU çıkarım hesaplaması

• Nesne algılama (YOLOv8n): conv → BN → etkinleştir → havuz → işlem sonrası NMS.
• LLM çıkarımı (Qwen2.5 3B): giriş tokenlerini önceden doldur → token-by-token oluşturma kodunu çöz.
• Çıkarım optimizasyonu: operatör füzyonu, ağırlık sıkıştırması.

Sonuç dönüşü

• Algılama için sınırlayıcı kutu koordinatlarını, sınıf kimliklerini ve güvenilirlik puanlarını döndürür.
• LLM için token dizisi döndürür.

Bu katman, her AI görevinin son noktasıdır: RK1820'den gelen ham çıkarım sonuçlarını görsel veya işe hazır çıktıya dönüştürür ve döngüyü kapatır.
RK3588 etkin; RK1820 yalnızca ham çıkarım verilerini sağlar.

Sonuç işlem sonrası

• Koordinatları orijinal görüntü boyutuna geri eşle.
• Tokenleri doğal dile kod çöz.
• Endüstriyel denetimde kusurları say.

Sistem kontrolü ve geri bildirim çıktısı

• Akıllı güvenlik: algılama bindirmeleriyle videoyu görüntüle, alarmları tetikle.
• Endüstriyel denetim: kusurlu ürünleri reddetmek için komut satırı.
• Uç LLM: metin + sesli duyuru göster.

Sinerjinin değeri: sadece daha hızlı değil, daha akıllı

Basitçe söylemek gerekirse: RK3588 gösteriyi yönetir ve her şeyi yolunda tutar, RK1820 ise ham hesaplama patlamaları sağlar; birlikte uç-AI cihazlarını "daha akıllı, daha hızlı ve sorunsuz" hale getirir.
Daha fazla RK1820 haberi ve SDK güncellemeleri, yeni eğitimler ve kullanıma hazır demolar için bizi takip edin.