Wartungsarbeiten Kundencenter

Sehr geehrte Kunden,

in der Nacht von Mittwoch, 20.06.2018 auf Donnerstag, 21.06.2018 ist es notwendig Wartungsarbeiten im Kundencenter durchzuführen.

In der Zeit ab 23:00 Uhr wird kein Zugriff mehr auf das Kundencenter möglich sein. Wir gehen davon aus die Arbeiten bis zum frühen morgen abschließen zu können.
Grundsätzlich erwarten wir einen reibungslosen Ablauf der Wartungsarbeiten.

Mit Freundlichen Grüßen

Leander Kopp

Stellungnahme zur Störung im RZ Espelkamp

Sehr geehrter Hostingkunde,

am Mittwoch, den 10. Januar 2018 kam es um 15:30 Uhr in unserem Rechenzentrum zu einem Ausfall, wodurch weite Teile unserer Infrastruktur nicht erreichbar waren. Betroffen waren Kunden, die unsere Webhosting- vServer und Managed Serve-Tarife nutzen. Unsere dedizierten Rootserver waren nicht von der Störung betroffen.

In dieser Mitteilung wollen wir näher auf die Ursache der zurückliegenden Störung eingehen und auch die von uns ergriffenen Lösungs- sowie Präventionsmaßnahmen konkret benennen.

Beim Aufruf von Webseiten, die in unserem Rechenzentrum gehostet werden, werden eingehende Anfragen zunächst an unsere zentralen Loadbalancer weitergeleitet. Diese steuern die Anfragen intelligent und übergibt sie dann an den jeweils zuständigen Webserver, auf dem die angeforderte Webseite liegt.

Für unsere drei Netzbereiche (Webhosting & vServer, Managed Server, Rootserver) stehen insgesamt sechs Loadbalancer zur Verfügung. Die Loadbalancer sind pro Netzbereich redundant ausgelegt, so dass beim Ausfall eines der Geräte einer der anderen einspringt. Mit diesem Netzwerkaufbau betreiben wir unser Hosting bereits seit vielen Jahren mit einer durchschnittlichen Verfügbarkeit von mehr als 99,97%.

Am Mittwochnachmittag erfolgte um 15:30 Uhr in dem von der Störung betroffenen Netzbereich ein automatisierter Schwenk vom aktiven auf den passiven Loadbalancer. Dies ist ein üblicher Vorgang, der regelmäßig stattfindet. Eine ungewöhnlich hohe CPU-Auslastung der Geräte in Kombination mit einem bislang unentdeckten Softwarefehler sorgte im konkreten Fall jedoch dafür, dass der Vorgang fehlschlug. Eine weitergehende Analyse der Situation ergab, dass die Loadbalancer nicht mehr in der Lage waren, Anfragen korrekt weiterzuleiten. Die im Netzbereich befindlichen Webseiten waren daher nicht mehr erreichbar.

Unser Monitoring hat uns umgehend über diesen Vorfall informiert, weswegen wir unverzüglich mit der Analyse der Störung begonnen haben. Auch ein Neustart der beiden betroffenen Geräte führte nicht zum gewünschten Erfolg, da die aktuelle Backupkonfiguration trotz regelmäßiger Tests von keinem der beiden Loadbalancer akzeptiert wurde. Nach Rücksprache mit dem Gerätehersteller wurde daher der schrittweise Neuaufbau der Konfigurationsdatei initiiert. Hierbei ist es notwendig, die Konfiguration in einer festdefinierten Reihenfolge neu aufzubauen, da die jeweiligen Konfigurationen zum Teil aufeinander aufbauen. Dies erklärt auch, warum zunächst unsere Webhostingpakete wieder erreichbar waren, danach unsere vServer und schlussendlich Systeme mit aktiver SSL-Verschlüsselung. Innerhalb der jeweiligen Systembereiche haben wir starkfrequentierte Webseiten und Onlineshops vorrangig behandelt.

Der Neuaufbau der Konfiguration hat rückblickend betrachtet etwa zwei Sekunden pro Kundenumgebung in Anspruch genommen, was die zum Teil unterschiedlichen Ausfallzeiten unserer Systeme erklärt. Erste Webseiten waren bereits am Mittwochnachmittag um 17:15 Uhr wieder erreichbar, der von uns ebenfalls priorisierte Maildienst war ab 22:00 Uhr wieder verfügbar und hat mit dem Abarbeiten der zwischengespeicherten E-Mails begonnen.

Die genauen Ausfallzeiten waren für uns zu Beginn der Arbeiten nur sehr grob abschätzbar, da die prognostizierten Zeiten anfänglich sehr stark schwankten. Daher mussten wir die ursprünglich für Donnerstag 22:00 Uhr geplante Erreichbarkeit aller Systeme später auf Freitagmorgen 8:00 Uhr korrigieren. Während etwa 98% aller Systeme in der Nacht von Donnerstag auf Freitag wieder erreichbar waren, haben wir bis in das Wochenende hinein an der Beseitigung individueller Problemstellungen (u. a. im Zusammenhang mit Varnish) gearbeitet.

Parallel zum Neuaufbau der Loadbalancerkonfiguration haben wir am frühen Mittwochabend damit begonnen, alternative Lösungen zu evaluieren sowie Maßnahmen zur Beschleunigung dieses Prozesses zu erarbeiten.

Gemeinsam mit den Spezialisten des Herstellers haben unsere Netzwerkexperten nun eine Konfiguration erarbeitet, die sowohl den Softwarefehler auflöst, als auch die Auslastung der Geräte minimiert und einen Neuaufbau der Konfiguration in wenigen Sekunden ermöglicht. Damit können wir für die Zukunft einen stabilen Betrieb sicherstellen.

Wir möchten uns an dieser Stelle noch einmal ausdrücklich und in aller Form sowohl bei Ihnen als auch bei Ihren Kunden für die entstandenen Unannehmlichkeiten entschuldigen! An der Wiederherstellung Ihres Vertrauens in unsere Produkte und Serviceleistungen werden wir in der kommenden Zeit intensiv arbeiten!

 

Ankündigung Downtime 11.01.2018 ab 0.00 Uhr

Sehr geehrte Damen und Herren,

aufgrund notwendiger Sicherheitsupdates im Rahmen der Meltdown-Patches möchten wir Sie mit diesem Schreiben über eine anstehende Ausfallzeit am 11.01.2018 ab ca. 0.00 Uhr informieren. Ausschließlich folgende Cloud Produkte werden in diesem Zyklus gepatcht:

– Cloud Webhosting
– WordPress Hosting
– Reseller Cloud Hosting
– Nextcloud Hosting
– Cloud Server

Beginn der Arbeiten:   11.01.2018 – 00.00 Uhr
Ende der Arbeiten:     11.01.2017 – 04.00 Uhr
Erwartete Ausfallzeit: 30 – 60 Minuten

Weitere Informationen zu Spectre & Meltdown entnehmen Sie bitte den Medien:
https://www.heise.de/thema/Meltdown-und-Spectre

Wir hoffen auf Ihr Verständnis und stehen für etwaige Fragen gerne zur Verfügung.

Mit freundlichen Grüßen

Leander Kopp

Kurzfristige Wartungsarbeiten: Kritische Sicherheitslücken in Intel-Prozessoren

Sehr geehrte Kunden,

wie Sie gestern vermutlich bereits über die Medien erfahren haben, sind kritische Sicherheitslücken in den Prozessoren mehrerer Hersteller bekannt geworden. Auch die bei Terra-Hosting eingesetzten Intel-Prozessoren sind hiervon betroffen.

Aufgrund der hohen Dringlichkeit haben unsere Sicherheitsexperten bereits gestern die Vorkehrungen dafür getroffen, die notwendigen Sicherheitspatches zeitnah auf allen Serversystemen einzuspielen.

Ab ca. 15:00 Uhr werden wir damit beginnen, diese Sicherheitspatches auf den von Ihnen genutzten Webservern einzuspielen. Die Wartungsarbeiten werden voraussichtlich fünf Minuten in anspruch nehmen, in denen der Webserver nicht erreichbar sein wird. Wir erwarten keinerlei nachträgliche Beeinträchtigungen durch die Durchführung der Wartungsarbeiten.

Bitte haben Sie Verständnis dafür, dass wir aufgrund der dringlichen Sicherheitslage so kurzfristige Wartungsarbeiten durchführen müssen! Die Sicherheit unserer Kunden geht für uns in dieser Situation jedoch vor.

Planmäßige Wartungsarbeiten – Managed vServer

Sehr geehrte Kunden,

um Ihnen auch zukünftig stabile Systeme anbieten zu können, führen wir in der kommenden Woche Updates Ihres Pakets durch.

Die Arbeiten werden in den Nächten ab Dienstag, den 29.08.2017 bis Donnerstagmorgen, den 31.08.2017 jeweils in der Zeit von 01:00 Uhr bis ca. 05:00 Uhr vorgenommen.

Die Updates betreffen den Bereich der Firmware und sind somit zwangsläufig mit einem Neustart verbunden. Deshalb wird Ihr Server innerhalb des Wartungsfensters voraussichtlich 1 Stunde nicht erreichbar sein.

Grundsätzlich sind keine Komplikationen zu erwarten. Wir behalten uns aber vor in der zweiten Nacht vom 30.08.2017 auf den 31.08.2017 eventuell notwendige Nacharbeiten durchzuführen. Selbstverständlich werden die Serviceunterbrechungen so gering wie möglich gehalten.

Betroffen sind Ihre folgenden Accounts:

r16101:

p372331, p372343, p372492 und p388864
Diese Wartungsarbeiten sind nötig um Ihnen auch weiterhin stabile Hostingumgebungen anbieten zu können.

Wir danken Ihnen für Ihr Verständnis

Planmäßige Wartungsarbeiten – Datenbankserver

Sehr geehrte Kunden,

um Ihnen auch zukünftig stabile Systeme anbieten zu können, führen wir in der kommenden Woche Updates verschiedener Datenbankserver durch.

Die Arbeiten werden in den Nächten ab Dienstag, den 29.08.2017 bis Donnerstagmorgen, den 31.08.2017 jeweils in der Zeit von 01:00 Uhr bis ca. 05:00 Uhr vorgenommen.

Die Updates betreffen den Bereich der Firmware und sind somit zwangsläufig mit einem Neustart verbunden. Deshalb wird Ihre Datenbank innerhalb des Wartungsfensters voraussichtlich 1 Stunde nicht erreichbar sein.

Grundsätzlich sind keine Komplikationen zu erwarten. Wir behalten uns aber vor in der zweiten Nacht vom 30.08.2017 auf den 31.08.2017 eventuell notwendige Nacharbeiten durchzuführen. Selbstverständlich werden die Serviceunterbrechungen so gering wie möglich gehalten.

Diese Wartungsarbeiten sind nötig um Ihnen auch weiterhin stabile Hostingumgebungen anbieten zu können.

Wir danken Ihnen für Ihr Verständnis

Planmäßige Wartungsarbeiten – Datenbankserver

Sehr geehrte Kunden,

um Ihnen auch zukünftig neue Features anbieten zu können, führen wir in der ersten Maiwoche vorbereitende Updates für alle Virtualisierungsumgebungen durch.

Die Arbeiten werden in den Nächten ab Dienstag, den 02.05.2017 bis Freitagmorgen, den 05.05.2017 jeweils in der Zeit von 23:00 Uhr bis ca. 05:00 Uhr vorgenommen.
Arbeiten im Bereich des Betriebssystems sind zwangsläufig mit einem notwendigen Neustart verbunden. Deshalb wird Ihr Server innerhalb des Wartungsfensters voraussichtlich 2 Stunden nicht erreichbar sein. In Ausnahmefällen können die Arbeiten länger dauern.

Grundsätzlich sind bei diesen Wartungsarbeiten keine Komplikationen zu erwarten. Wir behalten uns aber vor in den Nächten ab dem 03.05.2017 eventuell notwendige Nacharbeiten durchzuführen. Selbstverständlich werden die Serviceunterbrechungen so gering wie möglich gehalten.

Betroffen sind Ihre folgenden Server:

r16101

Diese Wartungsarbeiten legen den Grundstein für zukünftige Entwicklungen – nur so können wir auch in Zukunft neue Features anbieten!

Wir danken Ihnen für Ihr Verständnis

Planmäßige Wartungsarbeiten – SSL

Sehr geehrte Kunden,

in der kommenden Nacht von Samstag, 08.04.2017 auf Sonntag, 09.04.2017 werden wir ein SSL Zertifikat installieren. Unsere Website wird kurz nicht zur Verfügung stehen.
Kundenaccounts sind hiervon nicht betroffen.

Wir danken Ihnen für Ihr Verständnis.

Optimierung unserer Infrastruktur

Sehr geehrte Kunden,

in der kommenden Nacht von Montag, 06.03.2017 auf Dienstag, 07.03.2017 werden weitere Anpassung zur Optimierung unserer Infrastruktur durchgeführt.

Wir gehen davon aus, dass die Arbeiten ohne längere Ausfallzeiten erfolgen können.
Es ist jedoch nicht vollständig auszuschließen, dass es zu Unterbrechungen kommt.

Die Arbeiten werden ausschließlich im Zeitfenster von 01:00 Uhr bis ca. 04:00 Uhr durchgeführt.

Durch die Wartungsarbeiten werden stetig stabilere Netze aufgebaut, somit profitieren Sie und Ihre Webseiten durch ein optimiertes Hostingumfeld.

Planmäßige Wartungsarbeiten – Infrastruktur

Sehr geehrte Kunden,

in drei aufeinander folgenden Nächten ab Montag, 27.02.2017 bis Donnerstag, 02.03.2017 kann es zu Unterbrechungen in der Erreichbarkeit Ihres Pakets kommen.
Wir arbeiten derzeit an verschiedenen Optimierungen unserer Infrastruktur, so dass aufeinanderfolgende Maßnahmen erforderlich sind. Wir gehen davon aus den Großteil der Arbeiten in den Nächten von Montag auf Dienstag, sowie Dienstag auf Mittwoch abschließen zu können. Eventuell erforderliche Nacharbeiten werden dann in der Nacht von Mittwoch auf Donnerstag erfolgen.

Die Arbeiten werden ausschließlich im Zeitfenster von 01:00 Uhr bis ca. 04:00 Uhr durchgeführt und die Unterbrechung selbstverständlich so gering wie möglich gehalten.

Wir danken Ihnen für Ihr Verständnis,