Veri Toplama Motoru, web'i talep üzerine kazır, tarar ve içeriğini çıkarır — doğrudan bir REST API entegrasyonuyla çalışır — ve uygulamanıza kullanıma hazır, temiz markdown veya JSON şema verisi sunar.
scrapeToMarkdown fonksiyonunu herhangi bir sayfaya yönlendirin — bir ürün listesi, bir haber makalesi, bir açılış sayfası — ve reklamlardan, navigasyondan ve gereksiz öğelerden arındırılmış, temiz, okunabilir markdown geri alın.
crawlSite bir alan adı boyunca bağlantıları izler — sizin kontrol ettiğiniz derinlik ve sayfa sayısı sınırlarıyla — ve her sayfanın içeriğini tek bir yapılandırılmış toplu işlemde döndürür. Bir tedarikçi kataloğunu veya bir dokümantasyon sitesini içeri aktarmak için idealdir.
extractStructuredData, LLM tabanlı çıkarımı sizin tanımladığınız bir JSON şemasıyla eşleştirir. Bir sayfaya yönlendirin ve tam olarak istediğiniz alanları geri alın — manuel ayrıştırma yok, regex yok.
Veri Toplama Motoru, özel bir web kazıma ve yapılandırılmış çıkarım servisidir. TotalApp'teki iki modül onu doğrudan çağırır — hiçbir kurulum gerekmez.
IngestionEngine.ts servisini kullanır — tek bağlantı, her yerde yeniden kullanılırKlasik API tabanlı bir modelin en büyük zayıflığı, eğitiminden sonra ne olduğu hakkında hiçbir fikrinin olmamasıdır. Veri Toplama Motoru, ihtiyaç duyulduğu anda taze bağlam çeken canlı bir RAG besleyicisi olarak perde arkasında görev alabilir.
Veri Toplama Motoru, doğrudan bir web kazıma REST API'sini üç temel işleme sarar; ayrıca kazınan veriyi doğrudan CRM'inize ve proje iş akışlarınıza aktaran modül bağlantılarını da içerir.
Gereksiz öğelerden arındırılmış temiz markdown döndüren tek sayfa kazıma — dokümanlar, istemler veya iş akışı düğümleri için hazır.
Derinlik ve sayfa sınırı kontrolleriyle tüm alan adı taraması — kaçak maliyet olmadan bir katalog veya doküman sitesini içeri aktarın.
Bir JSON şeması tanımlayın ve LLM tabanlı çıkarımın herhangi bir sayfa düzeninden tam olarak ihtiyacınız olan alanları çekmesine izin verin.
Satış Zekası'ndaki Müşteri Ekle, tek bir yapıştırılan URL'den şirket bilgilerini otomatik doldurur.
Proje Varlıkları'ndaki URL'den İçe Aktar, bir RFP veya spesifikasyon sitesini tarar ve yapılandırılmış markdown bölümleri döndürür.
Her kazıma, tarama ve çıkarma çağrısı, isteği yapan kiracının kendi kapsamı altında çalışır — kiracılar arası veri asla karışmaz.