Data Factory bewegt in Fabric die Daten in den See. Regelmäßige Übernahmen aus ERP, Datenbank, Dateien und APIs werden hier definiert.
01. Zwei Bausteine
Dataflows transformieren Daten über eine visuelle Oberfläche und sind für Power-Query-Kundige vertraut. Pipelines sind die Orchestrierungsschicht, die Schritte reiht und Bedingungen sowie Schleifen unterstützt.
02. Inkrementelles Laden
Jede Nacht die ganze Tabelle zu ziehen, ist bei kleinen Daten unproblematisch und verbrennt bei Millionen Zeilen Kapazität. Nur neue Sätze über Änderungsdatum oder aufsteigenden Schlüssel zu holen, sollte Standard sein.
03. Lokale Quellen
Für den Zugriff auf SQL oder ERP im eigenen Netz ist ein Gateway nötig. Die Verfügbarkeit der Gateway-Maschine ist die Verfügbarkeit der gesamten Pipeline.
04. Fehlerbehandlung
Was bei einem fehlgeschlagenen Schritt geschieht, muss definiert sein: wiederholen, überspringen oder wen benachrichtigen. Still stehende Nachtjobs führen dazu, dass morgens veraltete Zahlen gelesen werden.
05. Umgebungstrennung
Entwicklung und Produktion gehören in getrennte Arbeitsbereiche, Verbindungsangaben in Parameter. Sonst ist bei jeder Veröffentlichung manuelle Nacharbeit nötig.
06. Dokumentation
Welche Pipeline welche Tabelle in welcher Frequenz speist, gehört schriftlich festgehalten. Nur so lassen sich bei Quellenänderungen betroffene Berichte praktisch finden.