Modeli sunucuda çalıştırmak para ve gizlilik maliyeti demek. Tarayıcıda çalıştırmak ise indirme maliyeti.
Ne ölçtük
Dört açık model (0,5B – 7B), üç tarayıcı, iki cihaz. Ölçülen: ilk yükleme, ilk token süresi, saniyedeki token, bellek tavanı.
Sonuçlar
7B model bir dizüstünde saniyede 14 token üretiyor — sohbet için yeterli. Ama model dosyası 4,1 GB ve ilk ziyarette bu indiriliyor: kullanıcıların %40'ı o noktada vazgeçer.
Önbellek meselesi
Cache Storage ile ikinci ziyarette yükleme 2 saniyeye iniyor. Bu, deneyimi tamamen değiştiriyor. Uygulamanın ilk sürümünde önbellek yoktu ve bu tek eksik, kullanım oranını yarıya indirdi.
Bugün ne yapılır
Küçük modeller (1B altı) için tarayıcı gerçekten hazır. Büyük modeller için değil. Ve her durumda: sunucu tarafı bir yedek yol bırakın.
Yorumlar
İlgili haberler
6 Kasım Malatya Bugün Saatlik Hava Durumu
Malatya, Türkiye'nin Malatya ilinin merkezi olan şehirdir. Doğu Anadolu Bölgesi'nde yer alan şehir; sanayi, sağlık, eğitim ve tarım alanlarında bölgenin önemli merkezlerinden biri olup, Türkiye'nin kuru kayısı üretimi ve ihracatının merkezidir.
Bursa'da eğlence mekanına tüfekli saldırı
Bursa, Türkiye'nin nüfus bakımından dördüncü büyük ili olan Bursa ilinin merkezidir. Şehir merkezinin rakımı ortalama 155 metredir.
6 Kasım Erzincan Bugün Saatlik Hava Durumu
Erzincan, Türkiye'de Doğu Anadolu Bölgesi'nde, Erzincan ilinin merkezi olan şehirdir. Şehir tarihte Mengüçlü Beyliği'ne başkentlik yapmıştır.