Demo çalışıyor, yaygınlaştırma çalışmıyor
Hemen her ekip, demoda etkileyici görünen bir yapay zeka ajanı kurabilir. Sorun, ajan gerçek veriyle, gerçek kullanıcılarla ve gerçek sonuçlarla karşılaştığında başlar. Pilot sessizce tıkanır; model zayıf olduğu için değil, ajanın neyi yapmaya yetkili olduğuna, onu kimin kontrol edeceğine ve kaymaya başladığını kimin nasıl anlayacağına kimse karar vermediği için.
Dar ve sıkıcı bir işle başlayın
Üretime ulaşan ajanlar genellikle tek bir belirli iş yapar: gelen talepleri sınıflandırmak, belgelerden alan ayıklamak, yanıt taslağı yazmak, haftalık özet hazırlamak. Dar bir işin "doğru"nun net bir tanımı vardır; yani ölçülebilir. "Finans ekibine yardım et" denen bir ajan hiç ölçülemez.
Kontrol listesi
- ✓Kapsam: tek iş, tek sahip, herkesin okuyabileceği tek cümleyle yazılmış
- ✓Veri erişimi: ajan yalnızca o işin ihtiyaç duyduğu kayıtları, doğru kiracının içinde görür
- ✓Aksiyonlar: neyi okuyabileceğini, taslaklayabileceğini ve değiştirebileceğini, neyin her zaman bir kişinin onayını gerektirdiğini listeleyin
- ✓Değerlendirme: bilinen doğru cevapları olan gerçek örneklerden bir küme; istem ya da model her değiştiğinde yeniden çalıştırılır
- ✓İzleme: her çalıştırmayı girdisi, çıktısı ve bir insanın bu konudaki kararıyla kaydedin
- ✓Yedek yol: güven düşük olduğunda ya da ajan hata verdiğinde bir kişiye giden net bir yol
- ✓Maliyet: çalıştırma başına beklenen maliyet ve değiştiğinde bir uyarı
"Değerlendiremediğiniz ajan bir demodur. Kapatamadığınız ajan bir yükümlülüktür."
Ajanı iş akışının yanına değil içine koyun
Bir ajan için en güvenli yer, tanımlı bir tetikleyicisi, tanımlı bir çıktısı ve geri döndürülemeyen her şeyden önce bir onay adımı olan bir iş akışı düğümüdür. TotalApp'te Yapay Zeka Asistanları ve iş akışı düğümleri aynı kiracı verisi üzerinde çalışır; böylece ajan insanların okuduğu kayıtların aynısını okur ve yaptığı her aksiyon çalıştırma geçmişinde incelenebilir.
Kanıta göre genişletin
Ajanı birkaç hafta her aksiyonda onayla çalıştırın. İnsanların çıktısını ne sıklıkla değiştirmeden kabul ettiğine bakın. Bu oran sürekli yüksekse ve hatalar ucuzsa onayı gevşetin. Değilse insanı döngüde tutun ya da işi daha da daraltın.
Kendi çalışma alanınızda çalışırken görün
Bir TotalApp kiracısı oluşturun ve bu yazıda bahsedilen modülleri bağlayın — her departman için ayrı kurulum gerekmez.