İş yazılımında yapay zekâdan söz edildiğinde konuşma neredeyse her zaman özelliklere döner: asistan ne yazabilir, özetleyebilir ya da karar verebilir. Bu özelliklerin her birinin altında daha az görünür ama aynı derecede önemli bir şey var: modelin üzerinde çalıştığı donanım.
Hız nereden geliyor?
Modern yapay zekâ modelleri çok büyük sayıda hesap yapar ve bunları paralel yapar. GPU'lar tam olarak bunun için üretildi; NVIDIA'nın öncülük ettiği hızlandırılmış hesaplamanın modern yapay zekânın temeli olmasının nedeni de bu. Aynı donanım bir modeli eğitir ve sonra birinin çalıştığı ekranda işe yarayacak kadar hızlı yanıt vermesini sağlar.
Gecikme bir ürün özelliğidir
İki saniyede yanıt veren bir asistan kullanılır. Otuz saniye süren göz ardı edilir. Daha hızlı çıkarım yalnızca bir altyapı ayrıntısı değil, bir yapay zekâ özelliğinin günlük işin parçası olup olmayacağını belirler.
Yapay zekâ sohbetten ajanlara geçince ne değişir?
Bir sohbet yanıtı tek bir model çağrısıdır. Bir ajan plan yapar, kayıtlarda arama yapar, araçları çağırır, kendi işini kontrol eder ve tek bir görev için bunu birkaç kez tekrarlayabilir. Her adım hesaplama gücü gerektirir; ajanlar iş gününün ne kadar büyük bölümünü üstlenirse arkalarında o kadar fazla donanım gerekir.
- ✓Görev başına daha fazla çağrı. Ajanlar çok sayıda model çağrısını zincirler; çağrı başına hız ve maliyet hızla birikir.
- ✓Daha büyük bağlam. Gerçek iş kayıtlarını okumak daha uzun girdiler demektir; bu da model için daha fazla iştir.
- ✓Aynı anda daha fazla kullanıcı. Bir platform birçok kiracıya aynı anda hizmet verir; kapasite onlarla birlikte ölçeklenmelidir.
Kendi verinize daha yakın
Donanım daha yetenekli ve erişilebilir hale geldikçe bu zekânın daha büyük bölümü kontrol ettiğiniz altyapıda çalışabilir. TotalApp'in bulut API'lerinin yanında Ollama gibi yerel motorları desteklemesinin nedeni bu: seçim verinin ne kadar hassas olduğuna ve görevin neye ihtiyaç duyduğuna bağlıdır; daha güçlü donanım da yerel bir modelin yapabildiklerini genişletmeye devam ediyor.
Altındaki temel
Yapay zekânın ve günlük iş görevlerini yürütecek ajanların geleceği güçlü altyapıdan geçiyor. Bu temel üzerine inşa ettiğimiz ve o katmanda çalışan girişimleri destekleyen NVIDIA Inception Programı'nın bir parçası olduğumuz için mutluyuz. Arama geliştirirken kullandığımız modelleri merak ediyorsanız Her gün kullandığımız üç NVIDIA modeli yazısını okuyun.
Kendi çalışma alanınızda çalışırken görün
Bir TotalApp kiracısı oluşturun ve bu yazıda bahsedilen modülleri bağlayın — her departman için ayrı kurulum gerekmez.