Küçük dil modeli neden tercih edilir?
Büyük dil modelleri çok geniş bilgiye ve güçlü akıl yürütmeye sahiptir, ama her istekte büyük bir işlem gücü harcar. Birçok iş ise bu kadar güç gerektirmez: bir müşteri mesajını "iade", "kargo" ya da "ürün sorusu" olarak etiketlemek, bir formdaki adresi düzenlemek ya da bir metni kısaltmak gibi. Küçük dil modelleri tam bu tür dar ve tekrarlı işler için tasarlanır.
Microsoft'un Phi ailesi ve Google'ın Gemma modelleri, iyi seçilmiş eğitim verisiyle küçük modellerin de belirli görevlerde şaşırtıcı başarı gösterebildiğini ortaya koydu. Küçük modellerin bir başka önemli avantajı cihaz üzerinde çalışabilmeleridir: telefon ya da dizüstü bilgisayar, veriyi buluta göndermeden metin özetleyebilir veya yazım önerisi sunabilir.
Sayılarla bir örnek: Günde 50.000 ürün yorumunu duygu ve konu bazında etiketleyen bir pazaryeri satıcısı düşünelim. Büyük bir modelle her yorum birkaç saniye sürebilir ve maliyet hacimle birlikte hızla büyür. Kendi örnekleriyle ince ayar yapılmış küçük bir model, aynı işi çok daha düşük gecikmeyle ve sabit bir sunucu maliyetiyle yapabilir. Karmaşık ya da belirsiz yorumlar ise büyük modele yönlendirilir.
Küçük ve büyük dil modeli karşılaştırması
| Özellik | Küçük dil modeli | Büyük dil modeli |
|---|---|---|
| Parametre ölçeği | Yüz milyonlar – birkaç milyar | Onlarca milyar ve üstü |
| Çalıştığı yer | Telefon, dizüstü, tek sunucu | Büyük veri merkezleri |
| Hız ve maliyet | Hızlı, ucuz | Daha yavaş, pahalı |
| Uygun görev | Sınıflandırma, çıkarma, kısa özet | Karmaşık analiz, uzun metin, geniş bilgi |
| Gizlilik | Veri cihazda kalabilir | Veri genellikle buluta gider |
Küçük modellerin çoğu açık ağırlıklı olarak yayımlandığı için kendi altyapında çalıştırılabilir.
Küçük model mi, büyük model mi?
- Görevi tanımla. Çıktı her seferinde benzer mi (etiket, kısa özet) yoksa yaratıcı ve değişken mi?
- Hacmi hesapla. Günde kaç istek yapılacak? Hacim büyüdükçe küçük modelin maliyet avantajı artar.
- Gecikme ihtiyacını belirle. Kullanıcı yanıtı anında mı bekliyor? Anlık işler için küçük model daha uygundur.
- İki modeli aynı veriyle sına. 200 gerçek örnekte hata oranlarını karşılaştır.
- Karma yapı kur. Basit işleri küçük modele, belirsiz ve zor işleri büyük modele yönlendir.
Küçük dil modelleri hakkında yanlış bilinenler
- "Küçük model kötü modeldir." Dar bir görev için eğitilmiş küçük model, büyük genel modelle yarışabilir.
- "Her şeyi bilir." Genel bilgisi sınırlıdır; bilgi gerektiren işlerde ek kaynakla desteklenmelidir.
- "Kurulumu kolaydır." Hazır API kadar kolay değildir; sunucu ve bakım gerektirir.
- "Türkçede de aynı başarıyı gösterir." Küçük modellerin dil desteği daha sınırlı olabilir; Türkçe performansı ayrıca test edilmelidir.
Sıkça sorulan sorular
SLM ile LLM arasındaki temel fark nedir?
Ölçek. Küçük modeller daha az parametreye sahiptir; bu yüzden daha hızlı ve ucuzdur, ama genel bilgi ve karmaşık akıl yürütmede daha zayıftır. İkisi de aynı temel model mantığıyla eğitilebilir.
Küçük modeller neden daha ucuz?
Her yanıt için daha az hesaplama yaparlar. Bu hesaplama aşamasına çıkarım denir ve bir yapay zeka hizmetinin işletme maliyetinin büyük kısmını oluşturur.
Telefonumdaki yapay zeka özellikleri küçük model mi kullanıyor?
Çoğu durumda evet. Yazım önerisi, bildirim özeti ve bazı fotoğraf düzenleme özellikleri, cihazda çalışan küçük modellerle yapılır; daha karmaşık istekler buluta gönderilir.
Küçük dil modellerine örnek bir aile için Microsoft Phi modelleri sayfasına bakabilirsin.
Hangi yapay zeka sistemlerinin içeriğini hangi amaçla kullandığını anlamak için yapay zeka ve GEO rehberine göz atabilirsin.
ChatGPT, Gemini ve Google AI Modu'nda markanızın doğru bilgiyle anılmasını ve kaynak gösterilmesini sağlayan, ölçülebilir GEO danışmanlığı.
