Fachtagung der TUI-Koordinatoren am 11. und 12.11.2009
Werbung
Wahlergebnispräsentation - Probleme – Bewältigung - Vermeidung – Zusammenfassung der Ergebnisse Fachtagung der TUI-Koordinatoren am 11. und 12.11.2009 Frank Albrecht Citkomm Version 1.0 Status: freigegeben Agenda ● ● ● ● ● ● ● Zusammenfassung Systemüberblick Krisenaufarbeitungsfahrplan Schlaglichter des Superwahljahrs 2009 Der Wahlabend Systematik der Aufarbeitung Analysen Seite 2 Zusammenfassung ● Die neue Wahlergebnispräsentation (WEPn) hat unter extremer Last die Anzahl der offenen TCP/IP- Verbindung explodieren lassen Konglomerat von Ursachen und Wirkungen erzeugt viele Einzelphänome • • • • • Belastung für diverse umliegende Systeme Komplexität der Fehleranalyse am Wahlabend plötzlich neu auftretende Brandherde Verwirrung des Technikers Verschleierung erforderlicher, kleinerer Konfigurationsanpassungen ● Vorbereitungen sorgfältig planmäßig ● Test Redundanz, Last, Backup aber: nicht den richtigen Test durchgeführt Seite 3 Systemüberblick ● Konzeption aus der Landtagswahl 2005 erprobt Redundante Anbindung über 2 Provider Separiertes Wahlsegment • Ausschluss von potentiellen Fehlerquellen • Reduzierung der Komplexität, insbesondere Firewall • einfach und schnell skalierbar Server ● Änderung wegen WEP(n) Applicationserver Tomcat Risikoeinschätzung • häufig eingesetzt • Keine besonderen Konfigurationsanpassungen erforderlich/bekannt (bisher!) Seite 4 Seite 5 Krisenaufarbeitungsfahrplan ● KW 36 - 42: Sicherung von Logs, Statistiken, erste Fehleranalyse • Aufbereitung der Daten (10GB Material) • Skripte / Tools zur Auswertung Dokumentation und Veröffentlichung Zeitplan Fehlersitutationen rekonstruieren, Symptome erneut hervorufen Einstieg in die Tomcat-Analysen • Nachholbedarf festgestellt wegen Analyse, Konfiguration • Analyse und Konfigurationsworkshop Tomcat Konzentration auf offene Verbindungen (TCP/IP-Sockets) • Programmierung eigener Tools Reduzierung Komplexität der Systemumgebung für BT-Wahl ● Aktuell: Veröffentlichung Endergebnis Seite 6 Schlaglichter des Superwahljahrs 2009 ● Vorbereitungen ab Oktober 2008 Teilprojekte „EWA“, WEP(a), WEP(n) • Adaption an das Sainte-Laguë/Schepers-Verfahren Geplanter Einsatz WEP(n) zur Europawahl verschoben • Entwicklung aufwändiger als geplant • Tests mit funktionalem Schwerpunkt geplanter Aufbau aller Systeme, inkl. Monitoring, Änderungsautomaten, Austauschgeräte termingerecht Seite 7 Der Wahlabend I ● Großeinsatz ● System-Leitzentrale Alle Männer auf Gefechtsstation • • • • • UHD Hosties Entwicklung Netzwerker Geschäftsführung Beamer wirft 4 Arbeitsplätze auf Großleinwand • 1 x Simulation des Bürgers • 1 x Simulation der Kommune • 2 x Monitoring und Administrationskonsolen 2 Mitarbeiter prüfen permanent die WEP(a) + (n) durch Browseraufrufe Seite 8 Der Wahlabend II ● Monitoring erkennt Probleme ● Paketverluste auf der Querverbindung ● 1. und 2. Krisensitzung Maßnahmen bleiben wirkungslos ● Automatik-Firewall ??? ● Neue Baustelle : Webserver-Probleme ● Deaktivierung WEP(n) !!! Teilerfolg : Kundenzugriffe stabilisieren sich ● Reduktion Komplexität weniger Server müssen mehr Anfragen bewältigen Konfigurationsänderungen erforderlich Seite 9 Der Wahlabend III ● Überlauf bei der Verwaltung von Verbindungen auf zentraler Router erkannt zuviele offene Verbindungen Seite 10 Die Systematik der Aufarbeitung ● Symptome ● Hypothesen ● Maßnahmen Seite 11 Symptome ● Störung der IP-Kommunikation Paketverluste zu viele offene Verbindung Verwaltung von Verbindungen fehlerhaft ● Störungen der WEPs frühzeitiger Zusammenbruch bei geringer Zugriffslast zu restriktive Konfiguration des Webservers für die anfallende Anfragenspitze „Eingefrorene“ Tomcats plötzliches Swapen auf den WEP-Servern ● Störungen dritter Komponenten Aussetzer, Überlastung der „normalen“ Webserver Seite 12 Hypothesen ● Überlastung der Hardware ● Konfiguration verbesserungsfähig Apache Tomcat ● Systemnahe Probleme in der IP-Paketverwaltung der WEP-Server Verhalten der Firewall im Grenzbereich der „conntrack“ ● Physik Störungen Netzwerkkomponenten PISA, Switche ● Überlastung des Datenbankservers Seite 13 Maßnahmen I ● Ausbau Arbeitsspeicher für WEP-Server ● Optimierung der Konfiguration Webserver Applikationsserver • Anpassung des Speichermanagements an die Anforderungen der WEP neu • zukünftig: neues Loadbalancing verteilt Last auf mehrere Applikationsserver auf einer Maschine ● Produktion der Bundestagswahl 2009 ausschließlich mit der WEP alt ● Nutzung eines Betriebssystemstandes ohne SocketRestriktion Seite 14 Maßnahmen II ● Zentraler Router Erweiterung Arbeitsspeicher Erhöhung der Conntrack um Faktor 4 Stateless ● Entkopplung Web-Server-Zugriffe in offlineProzesse Seite 15 Fragen ? Ihr Ansprechpartner: Frank Albrecht Tel.: 02371 787 219 [email protected] www.citkomm.de
