Version almost final

lecture: Data Warehouse Monitoring mit Icinga 2

Event_large

Während der Entwicklung und des Betriebes von Data Warehouse Systemen ist ein Monitoring der beteiligten Systeme hilfreich, um Engpässe und Fehler aufzudecken. Der Workshop stellt Lösungsansätze auf Basis von Icinga 2/Icinga Web 2 vor, die helfen verschiedene Bereiche eines Data Warehouse zu überwachen und zu kontrollieren.

Schon während der Entwicklung eines Data Warehouse ergeben sich Fragestellungen wie


  1. Wie lange läuft mein ETL-Prozess
  2. Welche CPU-Last erzeugt ein ETL-Prozess
  3. Werden während der Beladung alle vorhandenen Prozessoren genutzt oder liegen Ressourcen brach, wurden Fehler während der Entwicklung gemacht.
  4. Ist mangelnde IO-Leistung oder die Datenbank oder … der Grund für die langsame Verarbeitung


Während dem Regelbetrieb kommen Fragen auf wie

  1. In welchem Maße steigt die zu transportierende Datenmenge
  2. Welchen Einfluss hat die steigende Datenmenge im Warehouse auf die Bewirtschaftung und Auswertungsprozesse
  3. Ist noch genügen Festplattenkapazität, Tablespace, usw. vorhanden
  4. Wie viel Zeit benötigen meine ETL-Jobs und sind sie überhaupt gelaufen
  5. Sind alle Quellsysteme erreichbar
  6. Sind die Komponenten meines Data Warehouse Systems erreichbar
  7. Wurden alle Quelldateien verarbeitet oder liegen sie noch in den Verzeichnissen zur Abholung


hinzu.


Der Workshop zeigt die Möglichkeiten von Icinga 2 / Icinga Web 2 auf, wie diese Fragen beantwortet werden können. So könnte Icinga 2 Unterstützung bei Entwicklung und Betrieb leisten.