Kundenerfolgsgeschichte Uniklinik Tübingen & PRTG

Über das Universitätsklinikum Tübingen

Seit 1805 gibt es das Universitätsklinikum Tübingen, kurz UKT. Heute trägt es als eine von 34 Universitätskliniken in Deutschland zu dem erfolgreichen Verbund von Kliniken, Forschung und Lehre bei. Mehr als 1.600 Betten, zahlreiche Kliniken von A wie Allgemein bis Z wie Zahn, Schulen, Bibliotheken, Labors, Kompetenzzentren – das UKT mit einer Bilanzsumme von 1,2 Mrd. Euro ist ein großes und komplexes Zentrum der Hochleistungsmedizin mit einer entsprechend großen und komplexen IT-Landschaft.

Eine neue Lösung musste her

Die IT bildet die Basis für das Funktionieren des UKT auf allen Ebenen und jederzeit. Das bedeutet, dass auch die IT rund um die Uhr verfügbar sein muss. Störungen und Ausfälle müssen schnellstmöglich erkannt, gemeldet und behoben werden. In der Vergangenheit setzte das UKT dazu HostMonitor und OpenNMS ein. Zwei IT-Monitoring-Tools, eine Kombination aus OpenSource und properitärer Software, welche bei Einrichtung und Bedienung einiges an Fachkompetenz und Erfahrung voraussetzen. Dieses Monitoring erforderte mehr fachliche Ressourcen als tatsächlich bereitstanden. Das bedeutete in der Praxis einige schwerwiegende Einschränkungen:

Nur die wichtigsten Systeme wurden überwacht. Vor allem die Aufnahme von neuen Systemen lief hinterher.
Ein weitergehendes Automatisieren (Aufnahme neuer Windows Server, auslösen von Prozessen) fand nicht statt, weil einerseits die Tools nur bedingt die Möglichkeit dazu bieten, andererseits aber auch schlichtweg Zeit und Ressourcen für aufwendige Automatisierungen fehlten.
Im Störungsfall gingen Alarmierungen an das Bereitschaftsteam, das dann aktiv werden musste – tags wie nachts, wochentags wie am Wochenende oder an Feiertagen.

Auf Dauer war der Zustand nicht tragbar, eine Alternative musste her. Bei der Evaluierung wurden im Wesentlichen die folgenden Aspekte in den Vordergrund gestellt:

Einfache Bedienbarkeit

Eine Lösung, die nur von einem einzigen Monitoring-Experten bedient werden kann, kam nicht infrage. Zum einen stellt ein solcher Experte stets einen Engpass dar, zum anderen müssen Spezialisten dem Monitoring-Experten die Anforderungen an das Monitoring ihrer Systeme und Geräte erst aufwendig erklären, statt das Monitoring direkt selbst einrichten zu können. Die gesuchte Software sollte ohne große Erfahrung oder gar Programmierkenntnisse bedienbar sein. Installation und Konfiguration sollten ebenfalls möglichst einfach umsetzbar sein.

Abbilden von Prozessen und Möglichkeit der Automatisierung

Mehrere Komponenten und Systeme sollten in Prozessen kombinierbar sein, um über solche Prozesse Möglichkeiten zur Automatisierung schaffen zu können. Störungen können so besser lokalisiert und eingeordnet werden und im besten Fall automatisiert durch einen Reboot oder ein Skript behoben werden.

Zukunftssicherheit

Im ersten Schritt sollte das neue Monitoring-System das etablierte Monitoring durch ein einfacheres und leistungsfähigeres System ersetzen. Gleichzeitig sollte es aber auch für kommende Erweiterungen des Monitorings gerüstet sein. Das UTK ist vor allem ein medizinisches Hochleistungszentrum. Jenseits der IT existieren zahlreiche medizinische Systeme und Geräte. Eine Einbeziehung dieser Systeme in ein zentrales Monitoring zusammen mit der IT kann eine schnellere Lokalisierung von Störungen und damit ein schnelleres Beheben derselben ermöglichen. Allerdings muss die eingesetzte Lösung entsprechende Methoden zum Monitoring medizinischer Umgebungen unterstützen.

Nach einer gründlichen Evaluierung fiel die Entscheidung auf Paessler PRTG. Unter anderem war auch die Verbreitung der Lösung ein wichtiger Faktor bei der Entscheidung, da einige der zuständigen Kolleg:innen bereits Erfahrungen mit PRTG vorweisen können und PRTG auch in einem Teilbereich schon seit einiger Zeit beim UTK im Einsatz war.

„Viele Kolleg:innen in den Fachabteilungen haben genaue Vorstellungen, wie ihre Geräte und Services überwacht werden müssen. Dank der einfachen und verständlichen Bedienung von PRTG können sie das ohne großen Schulungsbedarf selbst einrichten.“

Torsten Schoen, Service-Owner PRTG bei Universitätsklinikum Tübingen

Die IT im Blick: Entlastung dank Zugriffskontrolle

Heute überwacht das UKT die IT-Umgebung mit PRTG auf zwei Ebenen mit insgesamt mehr als 18.000 Messpunkten, den sogenannten PRTG Sensoren. Torsten Schoen zeichnet als Service-Owner PRTG für das Monitoring der Basis-Systeme verantwortlich, sprich die Hardware, die Server und die wichtigsten zentralen Applikationen. Das beinhaltet die VMware-Umgebung, NetApp, SAN Storage, die Windows- und Linux-Betriebssysteme, Citrix, SQL und Oracle-Datenbanken inklusive der Oracle-Hypervisor-Umgebung, die SAP-Integration und vieles mehr. Unter anderem auch einige medizinische Applikationen, die als klinische Prozesse bedeutend sind.

Auf der zweiten Ebene haben die Expert:innen der Fachabteilungen einen eingeschränkten Zugriff auf PRTG: Sie können die für sie relevanten Dienste, Geräte und Applikationen selbstständig mit PRTG überwachen, ohne dabei Zugriff auf das Monitoring der Basis-Komponenten zu haben. Schoen erklärt den Hintergrund:

„Viele Kolleg:innen in den Fachabteilungen haben genaue Vorstellungen, wie ihre Geräte und Services überwacht werden müssen. Dank der einfachen und verständlichen Bedienung von PRTG können sie das ohne großen Schulungsbedarf selbst einrichten. Allerdings sind sie nicht so vertraut mit den darunterliegenden Servern und dem Netzwerk. Indem wir ihnen in PRTG ausschließlich Zugriff auf Systeme in ihrem Kompetenzbereich geben, können sie ihr Monitoring selbst einrichten, ohne dabei auf die Basis-Komponenten zugreifen zu können. Sprich, sie können nicht versehentlich in Bereichen außerhalb ihres Kompetenzbereiches auf das Monitoring zugreifen und so unter Umständen Probleme verursachen, indem sie beispielsweise das Monitoring für einen Server pausieren oder ganze Sensoren löschen. Auf der anderen Seite erspart uns diese Trennung von zentralem und dezentralem Monitoring eine Menge Zeit und Arbeit, die wir als Nicht-Fachabteilung sonst in das Monitoring der Fachbereiche investieren müssten.“

Die Rechtezuweisung steuert Schoen über PRTG Probes – Polling Engines, die mit PRTG in beliebiger Anzahl einsetzbar sind. Im Störungsfall wird die Rufbereitschaft alarmiert, während gleichzeitig auch die Expert:innen der Fachabteilung informiert werden. Die Alarmierungen und Benachrichtigungen sowie das Auslösen von automatisierten Aktionen werden in PRTG anhand von Bibliotheken und Tags gesteuert.

„Dank der Business-Process-Sensoren und der zahlreichen Möglichkeiten zur Automatisierung in PRTG haben wir es geschafft, unsere Bereitschaftsteams deutlich zu entlasten, ohne dass die Zuverlässigkeit unserer Systeme darunter leidet.“

Torsten Schoen, Service-Owner PRTG bei Universitätsklinikum Tübingen

Automatisierung und Entlastung der Bereitschaft

In der Vergangenheit wurde bei Störungen außerhalb der normalen Arbeitszeiten stets das Bereitschaftsteam alarmiert. Da musste dann der/die zuständige Kolleg:in schon mal Samstagnacht um 3:00 Uhr aus dem Bett, nur um einen Server zu booten. Mit PRTG ist Schoen jetzt in der Lage, mehrere Komponenten in einem Prozess zusammenzufassen und so auch Redundanzen abzubilden. Fällt jetzt beispielsweise einer von drei redundanten Servern aus, wird maximal eine E-Mail an das zuständige Team geschickt, aber kein Alarm an das Bereitschaftsteam ausgelöst. Aber auch bei Ausfällen von nicht redundant vorhandenen Systemen sorgt Schoen mit PRTG für eine Entlastung des Bereitschaftsdienstes, indem er automatisierte Routinen einsetzt, die beispielsweise Dienste neu starten, einen Server booten oder eine Gruppe von Sensoren pausieren können.

Als Beispiel führt Schoen den Spoolerservice seiner Printserver an. Wenn sich in der Vergangenheit ein Service aufhängte oder abstürzte, wurde umgehend die Bereitschaft alarmiert – rund um die Uhr. Heute bootet PRTG erst einmal den Printserver und erst wenn das Problem damit nicht innerhalb einer definierten Zeitspanne behoben ist, geht eine Alarmierung raus.

Schoen fasst das Ergebnis zusammen:

„Dank der Business-Process-Sensoren und der zahlreichen Möglichkeiten zur Automatisierung in PRTG haben wir es geschafft, unsere Bereitschaftsteams deutlich zu entlasten, ohne dass die Zuverlässigkeit unserer Systeme darunter leidet. Im Gegenteil: Wenn außerhalb der offiziellen Dienstzeit die Möglichkeit eines automatischen Reboots durch PRTG besteht, ist das immer schneller als eine Alarmierung an die Rufbereitschaft, die immer einen gewissen Zeitraum an Reaktionszeit mitbringt, bevor Maßnahmen ergriffen werden. Wir haben hier im Klinikum 24/7-Betrieb und im Extremfall hängen Leben von zuverlässig funktionierenden Systemen ab. Je schneller wir Störungen beheben können, desto besser und zuverlässiger werden unsere Systeme und desto besser können wir unsere Patienten versorgen.“

Monitoring-Alltag

Es sind nicht nur die großen Themen, bei denen PRTG das IT-Team des UKT entlastet. Mit etwas Kreativität können kleine, alltägliche Routinen zu einer großen Hilfe werden:

„Neben den üblichen Sensor-Zuständen rot, gelb und grün (was eigentlich niemanden interessiert) zeigt PRTG auch pausierte Sensoren an – in Blau. Immer wieder kommt es vor, dass Kolleg:innen zu Wartungszwecken reihenweise Sensoren unbefristet pausieren und dann vergessen, diese nach abgeschlossener Wartung wieder aktiv zu schalten. Wir überwachen jetzt einfach die Anzahl der pausierten Sensoren und sobald eine definierte Menge erreicht ist, bekommen wir eine entsprechende Benachrichtigung. Wir checken das dann und informieren gegebenenfalls den/die Kolleg:in. Damit vermeiden wir, dass immer wieder ganze Bereiche versehentlich aus dem Monitoring fallen.“

Ein anderer Mehrwert von PRTG liegt laut Schoen in den sogenannten Maps, individuelle und einfach erstellbare Dashboards, die Schoen bei den Kolleg:innen auf großen Monitoren anzeigen lässt:

„Eine E-Mail wird gern mal übersehen, andererseits wollen wir unsere Kolleg:innen auch nicht bei jeder Kleinigkeit via E-Mail, SMS oder Push-Nachricht alarmieren. Die Maps haben sich als sehr nützliches und effektives Mittel erwiesen: Wird auf dem Monitor im Büro plötzlich ein Sensor rot, wird das erstaunlich gut wahrgenommen und der/die zuständige Kolleg:in kann sich um die Störung kümmern.“

Die Zukunft im Blick

Ein wichtiges Argument bei der Entscheidung für PRTG war die Zukunftssicherheit. Im ersten Schritt geht es um das Monitoring der IT und der damit eng verknüpften medizinischen Systeme. Allerdings ist ein Krankenhaus kein statisches System. Die IT wächst und wird immer wichtiger. Auch die medizinischen Umgebungen werden in immer stärkerem Maß digitalisiert und mit der IT verzahnt. Daher war es ein zentrales Anliegen, jetzt auf eine Lösung zu wechseln, die auf lange Sicht als alleiniges Monitoring-System ausreicht und auch kommenden Anforderungen gewachsen ist. Dabei sind mehrere Aspekte wichtig:

Skalierbarkeit: Die aktuelle PRTG Installation stößt mit 18.000 Sensoren an ihre Leistungsgrenzen. Das UKT setzt vorausschauend eine PRTG Enterprise Monitor Lizenz ein, mit der es beliebig viele zusätzliche PRTG Server installieren kann, lizenztechnisch muss lediglich die Zahl der Sensoren erhöht werden.
Dezentralisierung: Die Planung des UKT hinsichtlich des Netzwerks und der IT-Infrastruktur sieht eine stärkere Segmentarisierung und Dezentralisierung vor. Dank der PRTG Enterprise Monitor Lizenz und der Remote Probes bietet PRTG alle Features, um diese Maßnahmen Monitoring-seitig zu unterstützen.
Einbeziehung IT-ferner Komponenten
Auf lange Sicht soll das Monitoring im Universitätsklinikum Tübingen auch auf Bereiche jenseits der IT ausgeweitet werden. Das umfasst sowohl medizinische Geräte und Systeme als auch beispielsweise die Gebäudetechnik im Rechenzentrum. PRTG ist dank der nativen Unterstützung von Methoden wie DICOM und HL7 im medizinischen Bereich sowie von Modbus oder MQTT in der Gebäudetechnik umfassend darauf vorbereitet.
Krankenhauszukunftsgesetz: Last but not least spielt ein umfassendes IT-Monitoring auch eine wichtige Rolle bei der Erfüllung der Anforderungen des Krankenhauszukunftsgesetzes, indem es Sicherheit und Zuverlässigkeit der IT-Umgebung gewährleistet und verbessert.

Fazit und Aussichten

Darüber hinaus sieht Schoen auch für die medizinischen Fachabteilungen noch viel Potenzial in einem weiteren Ausbau des Monitorings mit PRTG:

„Oft sind sich die medizinischen Fachabteilungen im Haus gar nicht im Klaren darüber, was mit PRTG als IT-Monitoring-Tool auch in ihrem Fachbereich an Monitoring möglich ist. Dank der DICOM- und HL7-Unterstützung in PRTG können wir medizinische Umgebungen fast vollständig mit PRTG überwachen. Über vordefinierte Schnittstellen lassen sich auch die Kommunikationsserver an PRTG anbinden. Mit einem übergreifenden Monitoring, das sowohl die IT als auch die medizintechnischen Systeme abbildet, können wir eine viel effizientere Fehleranalyse betreiben und Störungen im Vorfeld lokalisieren und beheben, bevor sie zu ernsten Problemen führen.“