Table of Contents
Regelmäßige Firmware-Updates gehören zu den wichtigsten Wartungsaufgaben einer NetScaler ADC Infrastruktur. Neben neuen Funktionen enthalten aktuelle Firmware-Versionen wichtige Fehlerbehebungen sowie sicherheitsrelevante Patches. Insbesondere bei Security Advisories oder aktiv ausgenutzten Schwachstellen sollten Firmware-Updates zeitnah eingeplant werden.
Da ein Firmware-Upgrade produktive Dienste wie NetScaler Gateway, Load Balancing, Content Switching, AAA, GSLB oder SSL Offloading beeinflussen kann, sollte es niemals unvorbereitet durchgeführt werden. Eine strukturierte Vorgehensweise reduziert Ausfallzeiten und minimiert das Risiko unerwarteter Probleme.
Dieser Artikel beschreibt den empfohlenen Upgrade-Ablauf für produktive NetScaler ADC Umgebungen.
Vorbereitung
Vor jedem Firmware-Upgrade sollten zunächst einige grundlegende Prüfungen durchgeführt werden.
Release Notes lesen
Prüfen Sie zunächst die Release Notes der Zielversion.
Besonders wichtig sind:
- unterstützte Upgrade-Pfade
- bekannte Probleme (Known Issues)
- behobene Fehler
- geänderte Standardwerte
- Security Advisories
- Lizenzvoraussetzungen
Gerade größere Versionssprünge (z. B. 13.1 → 14.1) enthalten häufig Änderungen, die sich auf bestehende Konfigurationen auswirken können.
Firmware herunterladen
Handelt es sich um eine VPX Appliance, sollte unmittelbar vor dem Upgrade ein Snapshot erstellt werden.
Dadurch lässt sich die Appliance bei Problemen innerhalb weniger Minuten wiederherstellen.
Bei MPX-Systemen entfällt dieser Schritt selbstverständlich.
Laufende Konfiguration speichern
Vor jedem Upgrade sollte die aktuelle Konfiguration gespeichert werden.
|
1 |
save config |
System-Backup erstellen
Zusätzlich empfiehlt sich immer ein vollständiges System-Backup.
CLI:
|
1 |
create system backup -level full |
GUI:
System → Backup and Restore
Das Backup wird unter
|
1 |
/var/ns_sys_backup/ |
abgelegt und sollte anschließend zusätzlich lokal gespeichert werden.
Funktionstest vor dem Upgrade
Vor Beginn des Updates empfiehlt es sich, sämtliche produktiv verwendeten Funktionen einmal zu testen.
Dazu gehören beispielsweise:
- NetScaler Gateway
- LDAP
- RADIUS
- TACACS
- SAML
- OpenID Connect
- Multi-Factor Authentication
- EPA / Endpoint Analysis
- StoreFront
- ICA Launch
- Load Balancing
- Content Switching
- SSL Offloading
- Rewrite Policies
- Responder Policies
- GSLB
- DNS
- NTP
- SNMP
Nur wenn die Umgebung vor dem Upgrade fehlerfrei arbeitet, lassen sich eventuelle Probleme nach dem Upgrade eindeutig eingrenzen.
Firmware-Upgrade im High Availability Cluster
In produktiven Umgebungen sollte grundsätzlich zuerst der Secondary Node aktualisiert werden.
Der empfohlene Ablauf sieht wie folgt aus:
- Snapshot erstellen (VPX)
- Konfiguration speichern
- System-Backup erstellen
- Secondary Node aktualisieren
- Secondary Node neu starten
- Firmware-Version prüfen
- HA-Status kontrollieren
- Synchronisation prüfen
- Failover auf den aktualisierten Node durchführen
- Funktionstest durchführen
- Ehemaligen Primary Node aktualisieren
- Appliance neu starten
- HA-Synchronisation prüfen
- Optional wieder auf den ursprünglichen Primary Node zurückschwenken
- Abschließenden Funktionstest durchführen
Während des Failovers kann es zu einer kurzen Unterbrechung bestehender Gateway-Verbindungen kommen. ICA-Sitzungen bleiben in der Regel bestehen, Benutzer erhalten jedoch möglicherweise für wenige Sekunden eine Meldung zum Wiederverbinden.
Firmware-Upgrade über die CLI
Obwohl das Firmware-Upgrade auch über die Weboberfläche möglich ist, empfiehlt sich in der Praxis die Installation über die CLI.
Hier treten erfahrungsgemäß deutlich seltener Probleme beim Upload oder Entpacken der Firmware auf.
Verbinden Sie sich per SSH mit Ihrer NetScaler Appliance.
Konfiguration speichern
|
1 |
save config |
Shell öffnen
|
1 |
shell |
Installationsverzeichnis erstellen
|
1 |
mkdir /var/nsinstall/<Version> |
Beispiel:
|
1 |
mkdir /var/nsinstall/14.1-53.17 |
Firmware kopieren
Kopieren Sie anschließend die heruntergeladene Firmware (.tgz) beispielsweise mit WinSCP in das neue Verzeichnis.
Firmware entpacken
Gibt dann im folgenden Fenster seine Credentials ein.
|
1 2 3 |
cd /var/nsinstall/<Version> tar xzvf <Firmware>.tgz |
Installation starten
|
1 |
./installns |
Nach erfolgreicher Installation verlassen Sie die Shell und starten die Appliance neu.
|
1 2 3 |
exit reboot -warm |
Nach dem Neustart sollte zunächst die installierte Firmware-Version kontrolliert werden.
Bekannter Certificate Digest Check Fehler
Mit neueren NetScaler ADC Firmware-Versionen kann es vorkommen, dass die Vorprüfung der SSL-Zertifikate während des Upgrades fehlschlägt, obwohl die Zertifikate und privaten Schlüssel fehlerfrei funktionieren.
Typische Fehlermeldungen sind beispielsweise:
|
1 2 3 4 5 6 7 8 |
Checking certificate digest... CertKeyname: Wildcard Company Digest Check: MISSING Certificate digest verification failed. Installation aborted. |
Dieses Verhalten ist inzwischen als bekanntes Problem dokumentiert. Eine häufige Ursache sind Leerzeichen im Namen des Certificate Keys oder in den Zertifikats- bzw. Schlüsseldateien. Die eigentlichen SSL-Zertifikate funktionieren weiterhin fehlerfrei, jedoch schlägt die Pre-Upgrade-Validierung fehl und blockiert das Firmware-Upgrade.
Workaround
Ist eindeutig bekannt, dass der Abbruch ausschließlich durch diese Digest-Prüfung verursacht wird, kann das Upgrade mit folgendem Parameter gestartet werden:
|
1 |
./installns -C |
Dadurch wird ausschließlich die Certificate-Digest-Prüfung übersprungen. Alle übrigen Installationsschritte und Prüfungen werden weiterhin ausgeführt.
Hinweis: Verwenden Sie diesen Workaround nur, wenn die Ursache eindeutig identifiziert wurde und die Zertifikate nachweislich korrekt funktionieren. Nach dem Upgrade sollten sämtliche SSL Virtual Server, Certificate Keys sowie die HA-Synchronisation überprüft werden.
Dauerhafte Lösung
Citrix empfiehlt, Certificate Keys sowie Zertifikats- und Schlüsseldateien grundsätzlich ohne Leerzeichen zu benennen. Zulässig sind beispielsweise Buchstaben, Zahlen, Unterstriche (_) und Bindestriche (-). Dadurch lässt sich der Fehler dauerhaft vermeiden.
Nicht empfohlen
|
1 2 |
Wildcard Company.pem Company Key.pem |
Empfohlen
|
1 2 |
Wildcard_Company.pem Company_Key.pem |
oder
|
1 2 |
Wildcard-Company.pem Company-Key.pem |
Firmware-Upgrade über die GUI
Alternativ kann das Upgrade auch vollständig über die grafische Oberfläche durchgeführt werden.
Navigieren Sie dazu zu:
System → Upgrade
Anschließend:
- Firmware-Datei auswählen
- Upgrade-Optionen prüfen
- Optional die Verbindung zur NetScaler Console deaktivieren, sofern diese nicht genutzt wird
- Upgrade starten
Ist die Option Reboot after successful installation aktiviert, erscheint häufig keine abschließende Erfolgsmeldung. Stattdessen startet die Appliance unmittelbar nach Abschluss der Installation automatisch neu.
Nach einem Browser-Refresh sollte bereits die neue Firmware-Version angezeigt werden.
Speicherplatzprobleme beim Firmware-Upgrade
Während eines Firmware-Upgrades kann es vorkommen, dass die Installation aufgrund fehlenden Speicherplatzes abbricht.
Typische Fehlermeldungen lauten beispielsweise:
|
1 2 3 4 5 6 7 8 9 10 11 |
Error: No space left on /var/ filesystem, aborting Error: No space left on /var/ filesystem, aborting installation… installns: [1455]: Error: No space left on /var/ filesystem, aborting installation… Error: No space left on /flash/ filesystem, aborting Error: No space left on /flash/ filesystem, aborting installation… installns: [1455]: Error: No space left on /flash/ filesystem, aborting installation… |
Gerade Appliances, die bereits mehrere Jahre betrieben werden, enthalten häufig alte Firmware-Versionen, Trace-Dateien oder Support-Pakete, welche mehrere Gigabyte Speicherplatz belegen können.
Belegten Speicher analysieren
Wechseln Sie zunächst in die Shell.
|
1 |
shell |
Anschließend können die größten Verzeichnisse ermittelt werden.
|
1 2 3 |
du -a /var | sort -n -r | head -10 du -a /flash | sort -n -r | head -10 |
Dadurch erhält man schnell einen Überblick, welche Verzeichnisse den meisten Speicherplatz belegen.
Typische Verzeichnisse zum Bereinigen
In den meisten Umgebungen können folgende Verzeichnisse problemlos bereinigt werden.
| Verzeichnis | Inhalt |
|---|---|
| /var/nstrace | Netzwerk-Traces |
| /var/ns_sys_backup | Alte System-Backups |
| /var/tmp/support | Support-Dateien |
| /var/core | Core Dumps |
| /var/crash | Crash Dumps |
| /var/nsinstall | Alte Firmware-Versionen |
| /flash | Alte Firmware-Dateien |
Speicher freigeben
Beispiele:
|
1 2 3 4 5 6 7 8 9 |
rm -rf /var/nstrace/* rm -rf /var/ns_sys_backup/* rm -rf /var/tmp/support/* rm -rf /var/core/* rm -rf /var/crash/* |
Alte Firmware-Versionen können ebenfalls entfernt werden.
|
1 2 3 |
rm -rf /var/nsinstall/<alte Version> rm -rf /flash/<alte Version> |
Wichtig: Löschen Sie niemals die aktuell installierte Firmware-Version.
HA-Synchronisationsprobleme nach dem Upgrade
Seit neueren Firmware-Versionen verwendet NetScaler standardmäßig eine verschlüsselte RPC-Kommunikation zwischen den Appliances.
Betroffen sind:
- High Availability
- Cluster
- GSLB
Die Kommunikation erfolgt dabei über TLS 1.2 auf den Ports 3008 und 3009. Vor einem Upgrade aus älteren 12.1- oder 13.0-Builds empfiehlt NetScaler, die internen RPC-Dienste auf TLS 1.2 umzustellen und sicherzustellen, dass diese Ports zwischen den Appliances nicht durch Firewalls blockiert werden.
Eine typische Fehlermeldung lautet:
|
1 |
Unable to connect to primary, please check the network connectivity from secondary to primary. |
Prüfen der Internal Services
Navigieren Sie zu:
Traffic Management → Load Balancing → Services → Internal Services
Kontrollieren Sie insbesondere:
- nsrpcs-127.0.0.1-3008
- nskrpcs-127.0.0.1-3009
Prüfen Sie:
- TLS 1.2 aktiviert
- SSL-Profil vorhanden
- Service UP
- Zertifikat korrekt gebunden
Firewall prüfen
Zwischen beiden Appliances müssen mindestens folgende Ports erreichbar sein:
- TCP 3008
- TCP 3009
Sind diese Ports blockiert, schlägt die Konfigurationssynchronisation fehl.
Kontrolle der HA-Konfiguration
Nach jedem Upgrade sollten folgende Punkte überprüft werden.
CLI:
|
1 2 3 4 5 |
show ha node show rpcNode show version |
Kontrollieren Sie dabei:
- beide Appliances UP
- Synchronisation SUCCESS
- gleiche Firmware-Version
- gleicher Build
- identische Konfiguration
Funktionstest nach dem Upgrade
Nach dem Upgrade sollte ein vollständiger Funktionstest erfolgen.
Empfohlen wird mindestens die Überprüfung folgender Funktionen:
NetScaler Gateway
- Benutzeranmeldung
- ICA Launch
- Workspace App
- Browserzugriff
Authentifizierung
- LDAP
- RADIUS
- TACACS
- SAML
- OpenID Connect
- Multi-Factor Authentication
Load Balancing
- HTTP
- HTTPS
- SSL Offloading
- Monitore
- Persistence
Content Switching
- Hostnamen
- URL-Regeln
- Redirects
- Rewrite Policies
- Responder Policies
Weitere Funktionen
- GSLB
- DNS
- NTP
- SNMP
- Syslog
- NetScaler Console
- EPA
- SSL-Zertifikate
Erst wenn sämtliche produktiv genutzten Funktionen erfolgreich getestet wurden, sollte das Wartungsfenster beendet werden.
Rollback
Trotz sorgfältiger Vorbereitung kann ein Firmware-Upgrade unerwartete Probleme verursachen.
Deshalb sollte vor jedem Upgrade eine Rollback-Strategie definiert werden.
Empfohlener Ablauf:
- Failover auf den funktionierenden HA-Partner
- Snapshot der VPX zurückspielen
- Falls erforderlich System-Backup wiederherstellen
- Ursache analysieren
- Upgrade erneut durchführen
Ein getestetes Rollback spart im Ernstfall wertvolle Zeit.
Best Practices
Aus zahlreichen Kundenprojekten haben sich folgende Vorgehensweisen bewährt.
✔ Immer zuerst den Secondary Node aktualisieren.
✔ Vor jedem Upgrade Snapshot und System-Backup erstellen.
✔ Firmware ausschließlich aus offiziellen Quellen herunterladen.
✔ Release Notes vollständig lesen.
✔ Alte Firmware-Versionen erst nach erfolgreichem Upgrade löschen.
✔ Nach jedem Schritt einen Funktionstest durchführen.
✔ Upgrade möglichst über die CLI durchführen.
✔ Nach dem Upgrade die HA-Synchronisation prüfen.
✔ Monitoring (PRTG, ControlUp oder NetScaler Console) während des gesamten Wartungsfensters beobachten.
✔ Änderungen dokumentieren.
✔ Firmware zunächst in einer Testumgebung validieren.
✔ Wartungsprotokolle inklusive Firmware-Version, Build-Nummer und Upgrade-Datum dokumentieren.
Checkliste
Vor dem Upgrade
- Release Notes gelesen
- Wartungsfenster geplant
- Benutzer informiert
- Snapshot erstellt (VPX)
- Konfiguration gespeichert
- System-Backup erstellt
- Firmware heruntergeladen
- SHA256 geprüft
- Funktionstest durchgeführt
- Speicherplatz geprüft
Nach dem Upgrade
- Firmware-Version geprüft
- HA Status UP
- Synchronisation SUCCESS
- Gateway getestet
- LDAP getestet
- SAML getestet
- Load Balancing geprüft
- Content Switching geprüft
- SSL geprüft
- Monitoring geprüft
- Eventlog kontrolliert
- Backup aktualisiert
Fazit
Ein NetScaler ADC Firmware-Upgrade besteht aus weit mehr als dem Einspielen einer neuen Softwareversion. Neben einer sorgfältigen Vorbereitung sind insbesondere ein vollständiges Backup, eine getestete Rollback-Strategie sowie ein strukturierter Funktionstest entscheidend für einen erfolgreichen Ablauf.
Die in den letzten Firmware-Versionen eingeführten Änderungen – beispielsweise die verschlüsselte RPC-Kommunikation oder die zusätzliche Prüfung der Zertifikats-Digests – zeigen, dass Upgrades heute deutlich mehr umfassen als einen einfachen Versionswechsel. Werden diese Besonderheiten bereits in der Planung berücksichtigt, lassen sich die meisten Upgrade-Probleme vermeiden.
Wer Firmware-Updates nach einem standardisierten Ablauf durchführt, minimiert Ausfallzeiten, erhöht die Betriebssicherheit und sorgt dafür, dass die NetScaler-Infrastruktur langfristig sicher, stabil und auf dem aktuellen Stand bleibt.
Benötigen Sie Unterstützung bei einem NetScaler Firmware-Upgrade?
Deyda Consulting unterstützt Unternehmen bei Planung, Durchführung und Fehleranalyse von NetScaler ADC Upgrades – von einzelnen Appliances bis hin zu hochverfügbaren Enterprise-Umgebungen.
