NPU'lu dizüstüler: reklamdaki 45 TOPS gerçekte ne yapıyor?

Üreticilerin "45 TOPS" rakamı bir donanım tavanı. Soru şu: hangi iş yükü o tavana yaklaşıyor?

Test düzeneği

Üç cihaz, aynı sürüm, aynı model. Testler: (1) yerel dil modeli çıkarımı, (2) görüntü üretimi, (3) video arka plan bulanıklaştırma, (4) toplantı transkripsiyonu. Her biri üç kez, soğuk başlangıç dahil.

Sonuçlar

Yerel dil modelinde NPU, CPU'ya göre 2,4 kat hızlı — ama yalnızca quantize edilmiş modelde. Tam hassasiyette fark %8 ve bu ölçüm hatası sınırında. Görüntü üretiminde NPU neredeyse hiç kullanılmıyor: sürücü hâlâ GPU'ya yönlendiriyor.

Pil: asıl kazanç burada

Video konferansta 6 saat 40 dakika, NPU'suz aynı cihazda 4 saat 55 dakika. Bu gerçek ve ölçülebilir. Reklamın doğru kısmı hız değil, süre.

Alım tavsiyesi

Bugün NPU için cihaz alınmaz. Pil ömrü ve sessiz çalışma için alınır. İkinci nesil yazılım desteği geldiğinde tablo değişecek.