Arama algoritmasının tekrar harika olacağını hissediyorum. Bağlam veya prompt büyürken. Token tüketimini doğru şekilde azaltmanın nasıl yapılacağı aslında hangi istemle ve hangi bağlamda göndermemiz gerektiğine bağlıdır. Büyük bir bellek bankanız varsa sıkıştırmanın pek iyi çalışacağını sanmıyorum. Çünkü promptun %90'ı hâlâ gerekli olmayabilir. Tüm bağlam/promptu göndermek yerine, sadece ilgili bilgileri bulmak için tüm bağlamı arayıp çıkarıyoruz.