"Dosyalarla sohbet"in ardındaki asıl soru
Bir model, her soruda 300 sayfalık bir arşivi baştan okuyamaz. Dolayısıyla model cevap vermeden önce, hangi birkaç paragrafın ona gösterilmeye değer olduğuna bir şeyin karar vermesi gerekir. Bu adım aramadır ve iyi yapılması, işe yarar bir cevapla belirsiz bir cevap arasındaki farkın büyük kısmını oluşturur.
Anlam, sayı olarak
Bir embedding modeli bir pasajı sayı listesine, bir tür parmak izine çevirir; öyle ki benzer anlamlı pasajlar benzer sayılar alır. "Fatura gecikti" ile "ödeme geç kaldı" neredeyse hiç ortak kelime içermese de birbirine yakın düşer. Anahtar kelime araması bunu kaçırır; anlam araması bulur.
En yakın pasajları bulmak
Sorunuzun da kendi parmak izi çıkarılır. Arama, onu her pasajın parmak iziyle karşılaştırır ve her biri bir alaka skoruyla en yakın birkaçını döndürür. Asgari skorun altındaki pasajlar dışarıda bırakılır; yani dokümanlarınızla ilgisi olmayan bir soru, cevaba alakasız metin sokmaz.
- ✓Benzer anlam, kelimeler farklı olsa bile yakın sayılar demektir
- ✓Tüm kütüphane değil, yalnızca en yakın birkaç pasaj kullanılır
- ✓Zayıf eşleşmeler doldurulmak yerine elenir
- ✓Model pasajları doküman adıyla birlikte görür; böylece cevap kaynağına işaret edebilir
Dokümanlar neden pasajlara bölünür
40 sayfalık bir doküman için tek bir parmak izi her şeyi bulanıklaştırır. TotalApp her dosyayı yaklaşık bin karakterlik parçalara böler; böylece her parmak izi kabaca tek bir fikri anlatır. Parçalar biraz örtüşür; sınırda kalan bir cümle de iki taraftan bulunabilir.
Parmak izleri nerede üretilir, sonuçları kim görür
Parmak izleri kendi bilgisayarınızda çalışan bir modelle ya da barındırılan bir modelle üretilebilir; barındırılan modelde pasajlar o sağlayıcıya gönderilir ve Ayarlar bunu söyler. Çalışma alanı başına saklanır ve herhangi bir pasaj döndürülmeden önce yetki kontrolü sunucuda yapılır. Bir dosyanın paylaşımını kapattığınızda pasajları başkalarının sonuçlarından anında kaybolur.
Embedding modelini değiştirdiğinizde
Farklı modellerin parmak izleri birbiriyle karşılaştırılamaz. Modeli değiştirirseniz TotalApp parmak izlerinizi arka planda yeniden üretir ve bu arada eskileri yok sayar; böylece uyumsuz sayılardan eşleşme almazsınız.
Daha iyi cevaplar için ipuçları
- ✓Dokümanlara net başlıklar verin; başlık, cevabın kullandığı pasajın yanında gösterilir
- ✓Özel sorular sorun: isimler, sayılar, ürün veya madde adları, geniş sorulardan daha hızlı kendi pasajını bulur
- ✓Çok büyük bir dosyayı konuya göre bölün; böylece her parça odaklı kalır
"İyi cevaplar, üç yüz sayfayı okumakla değil, doğru üç paragrafı bulmakla başlar."
Kendi çalışma alanınızda çalışırken görün
Bir TotalApp kiracısı oluşturun ve bu yazıda bahsedilen modülleri bağlayın — her departman için ayrı kurulum gerekmez.