biGENiUS Data Warehouse Automation

Data Warehousing: Die Vorteile der Automatisierung

Klassische Data-Warehouse-Lösungen haben ihre Grenzen erreicht. In vielen Unternehmen ist das bereits offensichtlich und sie sehen sich nach alternativen Methoden um. IT-Abteilungen anderer Firmen werden in spätestens zwei oder drei Jahren erkennen, dass das herkömmliche Data Warehouse mit den Anforderungen der Fachabteilungen und der Geschäftsleitung nicht mehr Schritt halten kann. Die Lösung liegt in der Automatisierung von Data Warehouses. Konkret stellt sich heute nicht mehr die Frage, ob Data-Warehouse-Lösungen agiler werden müssen, sondern wie dies mit Automatisierungs-Tools erreicht werden kann.

 

Das klassische DWH hält nicht Schritt

Fachabteilungen fordern in immer kürzeren Zeitabständen neue Datenanalysen. Bis diese aber nach Wochen oder Monaten im Data Warehouse (DWH) umgesetzt sind, haben sich die Anforderungen unter Umständen bereits geändert, sind obsolet oder es werden andere Auswertungen wichtiger. DWH-Lösungen wurden meist darauf getrimmt, eine einheitliche Datenbasis (Single Point of Truth) für sämtliche Analysen zu bieten. Das ist und wird in einem volatilen Umfeld immer schwieriger. Die Business-Anforderungen werden immer anspruchsvoller, der Eingaberhythmus immer schneller. Was muss eine moderne BI-Lösung also heute und in Zukunft bieten?

  • Anpassungen müssen umgehend möglich sein
  • Neue Datenquellen müssen schnell angebunden werden können
  • Der Betrieb muss effizient sein
  • Die Kosten vom Design bis zur Implementierung sollten trotz höherer Anforderungen sinken.

Wenn das in der vorhandenen Umgebung nicht zu realisieren ist, schwindet allmählich das Vertrauen der Fachbereiche in die Leistungskraft der IT. In vielen Unternehmen warten Anwender nicht mehr wochenlang auf eine Umsetzung durch die IT, sondern üben sich ersatzweise in SelfService-BI. Dies erschwert zunehmend die ursprünglich angestrebte Data Governance über das DWH oder macht sie sogar unmöglich. Derartige Eigeninitiativen sind durchaus verständlich, lösen aber nicht grundlegende Defizite des DWH. Tatsächlich reicht die Aktualität der Daten aus einem klassischen DWH oft nicht mehr aus: Wenn ein Servicemitarbeiter zum Beispiel die Bestellungen eines Kunden von heute nicht sehen kann, ist das schlecht für die Kundenbeziehung. Ebenso müssen Marketingverantwortliche in der Lage sein, Daten aus diversen Datenquellen zu kombinieren, um neue digitale Strategien zu entwickeln. Die Grundlage dafür ist, dass Daten aus mehreren Quellsystemen sehr schnell zur Verfügung stehen und bedarfsgerecht analysiert werden können.

 

Übersicht über die Vorteile der Data Warehouse Automation

SCHNELLE UND EINFACHE IMPLEMENTIERUNG VON DWH-LÖSUNGEN
SIGNIFIKANT EINFACHERE ADAPTION UND ERWEITERBARKEIT
MINIMALE KOSTEN FÜR ENTWICKLUNG UND BETRIEB
AUTOMATISCHE EINHALTUNG VON UMSETZUNGSSTANDARDS

NAHTLOSER WORKFLOW VON DER ANFORDERUNGSANALYSE ÜBER DAS
DESIGN BIS ZUR IMPLEMENTIERUNG 

 

Zeitersparnis von rund 70 Prozent durch Data Warehouse Automation

Die Kluft zwischen den fachlichen Anforderungen und den Realisierungszyklen nimmt bei herkömmlichen DWHs immer mehr zu. Die IT hinkt hinterher. Die Lösung heißt: Automatisierung. DWA reduziert den Zeitbedarf gegen- über den bisherigen Business-Prozessen für eine BI-Lösung drastisch. Auf dem klassischen Weg formuliert die Fachabteilung ihre Anforderungen im freien Text und übergibt sie der IT-Abteilung oder eigens dafür zuständigen Business-Analysten. Sie präzisieren und strukturieren die Anforderungen. Implikationen auf die bestehende DWH-Lösung müssen geprüft werden. Daraus können dann die Entwicklungsvorgaben für die gewünschte Anpassung des DWH abgeleitet und für die Implementierung konkret spezifiziert werden. Es dauert Wochen oder Monate, bis die IT einen Umsetzungsvorschlag unterbreiten kann. Nach Prüfung durch die Fachabteilung wird entweder nachgebessert oder in der aktuellen Fassung genehmigt. Die Umsetzung erfolgt anschließend in aufwendiger manueller Entwicklungsarbeit.

Mit DWA ist der gleiche Prozess binnen Stunden oder in wenigen Tagen abgeschlossen, die Implementierung erledigt. Die Release-Zyklen werden durch DWA verkürzt und die Basis für eine agile Entwicklungsmethodik gelegt. Neue Anforderungen werden in kurzen Iterationen umgesetzt. Wenn notwendig, können sie auf einfache Weise umgehend angepasst werden. Abgesehen davon, dass BI-Projekte so um mehr als die Hälfte schneller implementiert werden können, ist auch ein wichtiger Effekt, dass das Verständnis und das Vertrauen der Fachbereiche in die IT wachsen. Abbildung 1 zeigt die Einsparungen, die in den jeweiligen Stufen erzielt werden können. Auf das gesamte Projekt übertragen, addieren sich die Einsparungen im Bereich von Design und Bedarfsanalyse von etwa 20 Prozent und der Reduktion der Aufwendungen bei Entwicklung, Testing und Implementierung von mindestens 50 Prozent und mehr. 

biGENiUS Data Warehouse Automation Savings

Abb. 1: Einsparungspotenzial durch Automation 

 

Kennzeichen moderner DWA-Tools

Damit DWA in der Praxis den gewünschten Nutzen bringen kann und dauerhaft über den gesamten Lebenszyklus einer DWH-Lösung einsatzfähig ist, sind einige essenzielle Kriterien zu berücksichtigen. Zu den wichtigsten Features eines Tools für DWA zählt seine Flexibilität. Je mehr ein Werkzeug auf spezielle Architekturanforderungen des Anwenderunternehmens eingehen kann und beispielsweise in den Bereichen Verarbeitungsebenen, Modellierungsoptionen und Namenskonventionen anpassbar ist, desto größer sind der mögliche Automatisierungsgrad und der daraus resultierende Nutzen. Ist diese Flexibilität nicht gegeben, muss das DWH an die eingeschränkten Möglichkeiten des Automation-Tools angepasst werden oder der Umfang der Automatisierung leidet, weil nur Teile der DWH-Lösung automatisiert werden können. Abbildung 2 skizziert, was ein High-End-Tool für die DWA bieten sollte. Wenn die folgenden Aspekte in ausreichendem Maße gegeben sind, wird das Wunder Automation im Data Warehouse wahr:

Criteria_Data Warehouse Automation.png

 Abb. 2: Kriterien für die Auswahl eines Data Warehouse Automation Tools

 

Gift in der DW-Automation: manuelle Nachbearbeitung

Ist der Funktionsumfang des Automation-Tools durch fehlende Flexibilität eingeschränkt, bedeutet das meist manuelle Nacharbeit der automatisch generierten DWH-Lösung. Sind zum Beispiel nur Teile des DWH automatisch erstellt, müssen die fehlenden Teile manuell dazu entwickelt werden. Können komplexe Business-Logiken nicht automatisiert erstellt werden, müssen sie manuell in der generierten Lösung ergänzt werden. Die Konsequenz dieser manuellen Eingriffe ist, dass die beschreibenden Informationen im Automation-Tool und in der tatsächlichen DWH-Lösung auseinanderlaufen, das heißt inkonsistent werden. Das erschwert das Änderungsmanagement bei Erweiterungen vehement und führt dazu, dass die Dokumentation aus dem Automation-Tool nicht vollständig ist.

Darüber hinaus bergen manuelle Eingriffe die Gefahr, dass Architekturstandards verletzt werden. Die Fehleranfälligkeit steigt, und die durchgehende Dokumentation der Verarbeitung der Daten (Data Lineage) kann nicht mehr gewährleistet werden. Manuelles Eingreifen ist Gift für den Lebenszyklus eines DWH. Wichtig ist, dass das Tool das Design ohne jede manuelle Nacharbeit vollständig abbilden kann. Handarbeit kostet nicht nur Zeit, sie ist auch immer eine Fehlerquelle. Nur wenn nicht manuell eingegriffen werden muss, ist das DW Lifecycle-fähig, denn die vollständige Automatisierung sorgt dafür, dass Standards eingehalten werden, Dokumentationen vorliegen und das DWH klar und nachvollziehbar strukturiert genutzt werden kann.

 

Kern der Automatisierung: Generatoren

Das Kernstück der DWH-Automation-Tools sind Generatoren. Sie erstellen aus den Design-Daten (Metadaten) die gewünschten DWH-Objekte und Datenflüsse automatisch. Entscheidend ist, dass der Generator flexibel die angestrebte Architektur der DWH-Lösung unterstützt und die gesamte Business-Logik zur Verarbeitung der Daten über das Tool verwaltet. Denn nur so ist gewährleistet, dass der Vorteil der Automatisierung über den gesamten Lebenszyklus der DWH-Lösung genutzt werden kann.

 

Auswirkungen auf die Design-Phase

Traditionell ist der Prozess von der Formulierung der Anforderungen, dem Requirements-Engineering, bis zum technischen Design langwierig und „schluckt“ die Zeit vieler Mitarbeiter. Bei der Automatisierung dagegen werden aus Metadaten Skripte generiert, mit deren Hilfe die gesamte DWH-Lösung produziert wird. Der Schlüssel zur Automatisierung sind also die beschreibenden Metadaten. Sie müssen zur Verarbeitung im Generator sauber strukturiert abgelegt sein. Damit der volle Umfang der DWA auch in der Design-Phase genutzt werden kann, ist eine Unterstützung zur strukturierten Erfassung dieser Metadaten erforderlich. 

Auswirkung auf DWH-Lebenszyklus.png

 Abb. 3: Auswirkungen der Automatisierung auf die Design-Phase

Hier kommen auch die Unterschiede zur traditionellen Vorgehensweise mit einem sehr aufwendigen Prozess von Spezifikation und Design zum Tragen. Während normalerweise mehrere Spezifikationsschritte in unterschiedlichen Präzisierungsstufen notwendig sind, wird in der Design-Phase mit Automation-Tools der Fokus auf die gezielte Erarbeitung der Metadaten gelegt. Tool-basierte Validierungsunterstützung hilft hier dabei, vollständig und konsistent vorzugehen. Damit gestaltet sich auch die Design-Phase wesentlich effizienter als beim traditionellen Vorgehen.

 

DAS KÖNNTE SIE NOCH INTERESSIEREN: 

Data Warehouse Automation: Motive für den Einstieg

bigenius-data-warehouse-automatisierung

Topics: Data Warehouse Automation Data Warehouse Modernisation
   

 

Photo credits: iStockphoto

Original erschienen in BI Spektrum: Online-Themenspecial Data Warehouse Automation, Mai 2017