TotalApp Dökümanlar
Ctrl K
Anasayfa
EN | TR
Uygulamaya Git

Boru Hattı Tasarımcısı

Veri odaklı ETL tasarımcısı — JSON, CSV veya SQL'den alın, dönüşüm uygulayın ve herhangi bir hedefe aktarın.

Genel Bakış

Boru Hattı Tasarımcısı, yapılandırılmış veriyi kaynaklardan hedefe taşıyan Extract-Transform-Load (ETL) iş hatları oluşturmanızı sağlar. API'lardan, CSV dosyalarından veya veritabanlarından veri çekebilir, dönüşüm adımları uygulayabilir ve sonucu farklı bir sisteme aktarabilirsiniz.

Genel amaçlı İş Akışı Düzenleyici'den farklı olarak, Boru Hattı Tasarımcısı özellikle veri akışı senaryoları için optimize edilmiştir. Büyük veri kümeleri için toplu (batch) işleme, artımlı güncelleme (incremental load) ve hata yönetimi gibi ETL'ye özgü özellikler sunar.

Desteklenen Kaynaklar

REST API

Bearer token veya API anahtarıyla JSON döndüren HTTP uç noktaları. Sayfalandırma otomatik yönetilir.

CSV Dosya

Yerel veya URL'den CSV yükleme. Ayırıcı, karakter kodlaması ve başlık satırı yapılandırılabilir.

PostgreSQL

SQL sorgusu ile PostgreSQL tablolarından veri çekme. Filtre ve JOIN desteklenir.

MySQL

MySQL sorgularıyla veri çekme; bağlantı havuzu yönetimi Entegrasyon Merkezi üzerinden yapılır.

JSON Akışı

Satır ayrımlı JSON (NDJSON) veya JSON dizisi biçiminde akış verisi.

Webhook

Gelen HTTP POST isteklerinden gerçek zamanlı veri alımı.

Dönüşüm Adımları

Kaynak Seç → Dönüşüm Ekle → Hedef Seç → Çalıştır
Boru Hattı Tasarımcısı — Sipariş ETL
Çalıştır
Kaynak
PostgreSQL
siparisler tbl.
►
Dönüşüm
Filtre + Harita
tutar > 100
►
Hedef
REST API
POST /sync
1.284 satır işlendi · 38ms · Son çalıştırma: başarılı

Beş temel dönüşüm türü mevcuttur:

ETL İş Hatları

Boru hatları manuel tetikleme, zamanlama veya olay tabanlı tetikleyici ile çalıştırılabilir. Her çalıştırma için şu yükleme modları mevcuttur:

  • Tam Yükleme (Full Load) — Her çalıştırmada kaynak veri kümesinin tamamı okunur ve hedefe yazılır. Küçük veri setleri için uygundur.
  • Artımlı Yükleme (Incremental Load) — Yalnızca son çalıştırmadan bu yana değişen satırlar işlenir. guncelleme_tarihi >= son_calistirma gibi filtreler kullanılır.
  • Hata Yönetimi — Bir satır dönüşüm sırasında hata verirse, hata günlüğüne kaydedilir ve işlem devam eder (varsayılan). Katı modda ise tüm hat durdurulur; başarısız satırlar düzeltildikten sonra tekrar çalıştırılabilir.

Performans İpucu

Büyük veri setleri için artımlı yükleme kullanın ve hedef sistemde ekleme yerine upsert (ekle veya güncelle) işlemi tercih edin. Bu yaklaşım hem işlem süresini hem de çoğaltma riskini önemli ölçüde azaltır.

Sık Sorulan Sorular

Tek seferde kaç satır işlenebilir?
Varsayılan toplu iş boyutu 10.000 satırdır. Büyük veri kümeleri için Ayarlar → Boru Hattı → Toplu İş Boyutu değerini artırabilirsiniz. Bellek kısıtlamaları nedeniyle 100.000 satırın üzerinde artımlı yükleme kullanılması önerilir.
Artımlı yükleme nasıl çalışır?
Boru Hattı Tasarımcısı, her başarılı çalıştırmanın bitiş zamanını dahili durumda saklar. Sonraki çalıştırmada kaynak sorguya WHERE guncelleme_tarihi > :son_calistirma gibi otomatik filtre eklenir. Bu filtre yapılandırma panelinden özelleştirilebilir.
Hangi çıktı formatları destekleniyor?
Hedef sistemler şunlardır: PostgreSQL, MySQL, REST API (JSON POST), CSV dosya indirme, Webhook. Gelecek güncellemelerde Amazon S3, Google BigQuery ve Azure Blob desteği eklenecektir.