Anlamsal arama, altındaki modeller kadar iyidir. TotalApp'te arama katmanını geliştirirken üç NVIDIA modelini sürekli kullandık ve üçü de OpenRouter üzerinden ücretsiz. Bu yazı, her birinin ne yaptığını ve bu kurulumun bize neden uygun geldiğini anlatıyor.
Üç model
- ✓NVIDIA: Nemotron 3 Embed 1B (free). Bir kaydı ya da sorguyu sayısal bir temsile çeviren kompakt bir gömme modeli; böylece benzer anlamlar birbirine yakın düşer.
- ✓NVIDIA: Llama Nemotron Embed VL 1B V2 (free). Yalnızca düz metni değil, belgeleri ve görselleri de eşleştirmeyi denememizi sağlayan görsel-dil gömme modeli.
- ✓NVIDIA: Llama Nemotron Rerank VL 1B V2 (free). Gömmelerin bulduğu adayları alıp en alakalı olanları öne koyan yeniden sıralama modeli.
İki aşama nasıl birleşiyor?
Örüntü, anlamsal arama yazımızda anlattığımızla aynı: hızlı bir ilk aşama binlerce kaydı birkaç adaya indirir, ikinci aşama bir yapay zekâ modeli en iyi eşleşmeleri okumadan önce onları dikkatle sıralar.
Bul, sırala, sonra düşün
Gömmeler ucuz ve hızlıdır, bu yüzden her şeyi tarar. Rerank modeli daha hassas ama daha yavaştır, bu yüzden yalnızca kısa listeye bakar. Dil modeli de binlerce yerine birkaç kaydı okur.
Geliştirirken ücretsiz modeller neden önemliydi?
- ✓Hızlı denemeler. Faturayı izlemeden kayıtları istediğimiz kadar yeniden gömebildik, benzerlik eşiklerini ayarlayabildik ve sonuçları karşılaştırabildik.
- ✓Küçük ve pratik. Bir milyar parametreli modeller hızlı olacak kadar hafif, gerçek iş verisinde doğru kayıtları bulacak kadar iyi.
- ✓Kolay değiştirilebilir. Hepsi tek bir arayüzün arkasında durduğu için bir modeli başka biriyle değiştirmek yeniden yazma değil, bir yapılandırma seçimi.
Ne öğrendik?
Yalnızca doğru kaydın listede bir yerde çıkıp çıkmadığına değil, ilk önerilen eşleşmeye bakın. Rerank modeli, doğru yanıtı dördüncü sıradan birinci sıraya taşıdığında yerini hak eder. Modelleri tek bir katmanın arkasında tutun; böylece barındırılan model ile yerel model arasındaki seçim, her ekranın bilmesi gereken bir şey değil, kiracının kararı olarak kalır.
Bunun gibi modeller üzerine inşa ettiğimiz ve artık NVIDIA Inception Programı'nın bir parçası olduğumuz için mutluyuz.
Kendi çalışma alanınızda çalışırken görün
Bir TotalApp kiracısı oluşturun ve bu yazıda bahsedilen modülleri bağlayın — her departman için ayrı kurulum gerekmez.