Bağlam penceresi dolunca ne olur?
Bir dil modeli, yanıt üretirken yalnızca bağlam penceresinin içindeki bilgiyi kullanabilir. Uzun bir sohbette ilk mesajlarda verdiğin bir kural, pencere dolduğunda dışarıda kalabilir ve model onu "unutmuş" gibi davranır. Aslında unutmamıştır; o bilgi artık önündeki metnin parçası değildir.
Pencere boyutları son yıllarda çok hızlı büyüdü. GPT-3 2020'de 2.048 token ile çalışırken, Google 2024'te Gemini 1.5 Pro ile 1 milyon token'lık bir bağlamı kullanıma açtı. Bu, yüzlerce sayfalık bir belgeyi tek seferde modele verebilmek demektir. Ancak büyük pencere, her bilginin eşit dikkatle okunacağı anlamına gelmez: 2023'te yayımlanan "Lost in the Middle" çalışması, modellerin uzun bağlamın başındaki ve sonundaki bilgileri ortadakilere göre daha iyi kullandığını gösterdi.
Sayılarla bir örnek: 128.000 token'lık bir pencereye sahip bir modele 200 sayfalık bir marka kılavuzu ile 50 sayfalık bir ürün kataloğunu aynı anda vermek istediğini düşün. Sayfa başına ortalama 600 token varsayarsak toplam 150.000 token eder ve pencere aşılır. Çözüm, belgeleri kısaltmak ya da yalnızca görevle ilgili bölümleri vermektir; örneğin yalnızca ilgili ürün grubunun 8 sayfası ve kılavuzun ton bölümü.
Küçük ve büyük bağlam penceresi karşılaştırması
| Özellik | Küçük pencere | Büyük pencere |
|---|---|---|
| Uygun işler | Kısa sorular, tekil metin düzenleme | Uzun rapor analizi, çok belgeli karşılaştırma |
| Maliyet | Düşük | Her istekte daha fazla token işlendiği için yüksek |
| Hız | Hızlı | Uzun girdilerde yavaşlayabilir |
| Risk | Bilgi sığmaz | Bilgi sığar ama ortada kaybolabilir |
Pencerenin neden sınırlı olduğunu anlamak için transformer mimarisinin her token'ı diğerleriyle ilişkilendirme biçimine bakmak gerekir: metin uzadıkça hesaplama yükü hızla artar.
Uzun belgelerle çalışırken izlenecek yol
- Görevle ilgili bölümü seç. Bütün belgeyi değil, sorunun cevabını içeren kısmı ver.
- En önemli talimatı başa ve sona koy. Kritik kuralları istemin başında belirt, sonunda kısaca tekrarla.
- Uzun sohbetleri böl. Konu değiştiğinde yeni bir sohbet başlat ve önceki sonuçları kısa bir özetle aktar.
- Belgeyi yapılandır. Başlıklar, numaralı bölümler ve tablolar modelin ilgili yeri bulmasını kolaylaştırır.
- Sonucu kaynakla eşleştir. Modelden, verdiği her bilginin belgenin hangi bölümünden geldiğini belirtmesini iste.
Bağlam penceresi hakkında yanlış bilinenler
- "Pencere büyüdükçe doğruluk artar." Gereksiz bilgi eklemek, asıl bilginin gözden kaçma ihtimalini artırabilir.
- "Model önceki sohbetleri hatırlar." Hafıza özelliği olmayan bir model, yalnızca o anki penceredeki metni bilir.
- "Pencere yalnızca girdiyi kapsar." Modelin yazacağı yanıt da aynı sınıra dahildir.
- "Her model aynı sınırı kullanır." Aynı sağlayıcının farklı modelleri bile farklı pencere boyutlarına sahip olabilir.
Sıkça sorulan sorular
Bağlam penceresi ile model hafızası aynı şey mi?
Hayır. Bağlam penceresi tek bir işlemdeki çalışma alanıdır. Bazı uygulamalar ayrıca önceki sohbetlerden bilgileri saklayıp yeni sohbetlere ekleyen hafıza özellikleri sunar; bu bilgiler de sonunda pencerenin içine yerleştirilir.
Bağlam penceresi web sitemi nasıl etkiler?
Yapay zeka arama sistemleri bir soruyu yanıtlarken birçok sayfadan parçalar toplar ve bunları sınırlı bir bağlama yerleştirir. Bir soruyu alt sorulara bölen query fan-out yaklaşımında bile her sayfadan yalnızca kısa bölümler alınır. Net ve kendi başına anlaşılır paragraflar bu yüzden avantajlıdır.
Hangi modeller en büyük bağlamı sunuyor?
Bu sayılar sık değiştiği için güncel değeri sağlayıcının model sayfasından kontrol etmek gerekir. Büyük pencere genellikle geniş amaçlı temel modellerde sunulur.
Uzun bağlamın kullanım örnekleri ve sınırları için Google Gemini API: Long context belgesine bakabilirsin.
Sayfalarını, yapay zekanın sınırlı bağlamına rahatça sığacak biçimde yapılandırmanın yollarını yapay zeka için içerik rehberinde anlattım.
ChatGPT, Gemini ve Google AI Modu'nda markanızın doğru bilgiyle anılmasını ve kaynak gösterilmesini sağlayan, ölçülebilir GEO danışmanlığı.
