Fabric'te veriyi göle taşıyan bileşen Data Factory. ERP, veritabanı, dosya ve API kaynaklarından düzenli aktarım burada tanımlanıyor.
01. İki Yapı Taşı
Veri akışı, görsel arayüzle dönüştürme yapmaya yarıyor ve Power Query bilenler için tanıdık. Veri hattı ise adımları sıralayan, koşul ve döngü kurabilen orkestrasyon katmanı.
02. Artımlı Yükleme
Her gece tüm tabloyu çekmek küçük veride sorun değil, milyonlarca satırda kapasite yakıyor. Değişiklik tarihine ya da artan anahtara göre yalnızca yeni kayıtları çekmek standart olmalı.
03. Şirket İçi Kaynaklar
Kendi sunucunuzdaki SQL ya da ERP veritabanına erişim için ağ geçidi kurulumu gerekiyor. Ağ geçidinin bulunduğu makinenin sürekliliği, tüm veri hattının sürekliliği demek.
04. Hata Yönetimi
Adımlar başarısız olduğunda ne olacağı tanımlı olmalı: tekrar denensin mi, sonraki adım atlansın mı, kim haberdar edilsin. Sessizce duran gece işleri sabah eski veriyle rapor okutuyor.
05. Ortam Ayrımı
Geliştirme ve canlı ortam ayrı çalışma alanlarında olmalı, bağlantı bilgileri parametre ile yönetilmeli. Aksi halde her yayınlamada elle düzeltme yapılıyor.
06. Belgeleme
Hangi hattın hangi tabloyu hangi sıklıkla beslediği yazılı olmalı. Veri kaynağı değiştiğinde etkilenen raporları bulmanın tek pratik yolu bu.