BIS News

Heute hatten viele unserer Nutzer*innen unter einem langen Ausfall der BIS Dienste zu leiden, für den wir uns hier noch einmal sehr entschuldigen. Und etwas zu den Hintergründen erklären wollen.

Neue Server – sicherere Server

In der Informationstechnik bleibt nie alles lange so, wie es ist, es gibt einen hohen Druck Dinge neu und besser oder manchmal auch nur anders zu machen. Für heute hatten wir uns vorgenommen die Server, auf denen die BIS Anwendungen laufen, komplett zu erneuern. Was eigentlich niemand hätte bemerken sollen.

Ein wesentlicher Treiber für dieses Update ist dabei die IT-Sicherheit: Zum einen verwenden die neuen Server die aktuellsten Linux Betriebssysteme und haben damit wieder eine auf lange Zeit gesicherte Versorgung mit Updates und Sicherheitsfunktionen.

Die Server sind bei dieser Gelegenheit aber auch in neue Strukturen gewechselt, die sie viel stärker voneinander separieren und ganz genau regeln, in welcher Weise die Server untereinander, mit anderen Systemen innerhalb des Universität und mit dem Rest der Welt kommunizieren können.

Dies ist ein Schutz für den schlimmsten anzunehmenden Fall: In so einem Fall gelingt es Angreifern einen einzelnen Server zu übernehmen. Das ist problematisch genug, aber durch die neue Struktur ist es für Angreifer dann schwieriger sich von diesem ersten Einstiegspunkt aus in den IT Systemen der Universität auszubreiten. Und umgekehrt sind die BIS Server mit kritischen Anwendungen wie der Prüfungsverwaltung auch gegen andere, kompromittierte Server besser geschützt, als sie es bisher waren.

Natürlich wird durch zahlreiche weitere Maßnahmen versucht zu verhindern, dass Angreifer überhaupt so weit kommen können. Aber sollte dieser Fall doch eintreten, so gibt es hier nun eine weitere Verteidigungslinie.

Der Schwenk

Die neuen Server existieren schon seit Wochen und wurden umfangreichen Tests unterzogen, während sie parallel zu den bisher verwendeten Servern liefen. Der Plan für heute sah nun dieses Vorgehen vor, um höchstens minimale und sehr kurze Störungen zu verursachen, während unsere nahezu immer unter hohen Lasten stehenden Dienste auf die neue Architektur wechseln:

Alle unsere Dienste werden unter sprechenden Adressen angeboten, und das sind heute einige:

• ekvv.uni-bielefeld.de
• bisintern.uni-bielefeld.de
• meine.uni-bielefeld.de
• biki.uni-bielefeld.de
• idp.uni-bielefeld.de
• login.uni-bielefeld.de

und noch weitere.

Wenn Sie in Ihrem Webbrowser eine dieser Adressen eintragen, dann sucht ihr PC oder Smartphone über eine sogn. DNS Anfrage die Internetadresse heraus, über die unsere Server zu erreichen sind. Das ist im Fall des eKVVs z. B. 129.70.240.66.

Die einfache Idee war es nun im DNS die Rechneradressen zu wechseln, so dass alle, die eine der BIS Webadressen besuchen, automatisch und ohne es zu merken auf den neuen Servern landen.

Das Problem

Die einzige Schwierigkeit an dieser Vorgehensweise ist, dass das DNS, was für Domain Name System steht, ein globales Netzwerk von Servern ist, die sich regelmäßig untereinander abgleichen. Eine Änderung geschieht dabei nicht augenblicklich:

Ausgehend von den DNS Servern der Universität breitet sich die Änderung normalerweise nach und nach über die ganze Welt aus. Wir können dabei in gewissem Rahmen steuern, wie schnell das geht, und hatten in Vorbereitung auf die Umstellung das System schon so eingestellt, dass sich die Änderungen in wenigen Minuten ausbreiten würden.

Und bei den meisten Adressen, wie z. B. ekvv.uni-bielefeld.de, hat es auch genauso funktioniert wie geplant, und schon kurz nach der Umstellung kamen die ersten Nutzer*innen auf den neuen eKVV Servern an. Aber leider galt das nicht für alle Adressen.

Insbesondere bei der wichtigen login.uni-bielefeld.de Adresse haben externe DNS Systeme nicht nur nicht den Schwenk auf die neue Adresse gemacht, sie haben den alten Eintrag komplett verloren und keinen neuen angelegt.

Dadurch erhielten alle Personen, die sich anmelden wollten, von ihrem Webbrowser die Meldung, dass diese Webadresse nicht existiert. Nur innerhalb des Universitätsnetzwerks funktionierte der Zugriff, da hier auf unsere eigenen DNS Server zugegriffen wird. Der Grund für dieses Verhalten des DNS ist dabei leider immer noch nicht klar.

Die schwierige Frage: Wie lange warten wir vor dem Rückzug?

Durch die Verzögerungen, die bei der Ausbreitung von Änderungen im DNS immer vorhanden sind, war es zuerst für uns schwer zu entscheiden, ob die Umstellung bei den externen DNS Systemen noch kommt, oder ob wir zurückgehen müssen. Und wenn wir zurückgehen müssen, ob das dann funktioniert.

Wir haben uns dann entschieden nur für die problematischen Adressen wie login.uni-bielefeld.de, bei denen der Wechsel nicht geklappt hat, den Weg zurück anzutreten. Auch hier musste dann wieder abgewartet werden, bis sich die veränderten DNS Einträge weltweit ausgebreitet hatten, was aber zum Glück funktioniert hat.

Folgeprobleme durch den gemischten Betrieb

Ein Folgeproblem hat sich dann noch dadurch eingestellt, dass ein Teil der Server sich nun in der neuen, sichereren Welt befand, aber die Server des Loginsystems wieder in der alten Welt. Und hier mussten noch bestimmte Barrieren geöffnet werden, was bei dem eigentlich geplanten, kompletten Schwenk nicht notwendig gewesen wäre. 

Lehren für die Zukunft

Die grundlegende Idee hinter dieser Art des Systemwechsels erscheint auch jetzt noch richtig, sie hat für die meisten der Internetadressen, die die BIS Dienste verwenden, genau so funktioniert wie geplant. Personen, die in dieser Zeit nur im eKVV oder PEVZ recherchieren wollten ohne sich einzuloggen haben während der ganzen Zeit keinerlei Problem wahrgenommen.

Was wir aufarbeiten müssen – insbesondere, bevor wir dann den zweiten Anlauf zum Umzug der login.uni-bielefeld.de-Adresse unternehmen – ist die Frage, warum dieses Vorgehen ausgerechnet hier nicht funktioniert hat.

Und bei zukünftigen Systemänderungen ggf. schneller die Entscheidung treffen, ob es Zeit ist abzubrechen.