Problem bei Wartungsmodus bzw. Datenbank-Switchover / Outlook-Anmeldefenster

1. offizieller Beitrag

    Moin!


    Heute ist mir wieder ein altes Problem schmerzhaft auf die Füße gefallen an dem ich euch gerne teilhaben lassen möchte :D Nicht ganz uneigennützig hoffe ich daß das auch schon einem Kollegen passiert ist und evtl. eine Lösung oder Workaround bekannt ist.


    Wir haben das Problem, daß (wenn wir Exchange-Server in den Wartungsmodus versetzen) eine gewisse (aber nicht unerhebliche) Anzahl Outlook-Clients eine Anmeldemaske anzeigen. Wenn die User hier die Anmeldedaten eingeben funktioniert Outlook meistens wieder; manchmal hilft ein Outlook-Neustart. Bei manchen Clients verschwindet die Anmeldemaske nach 20 Minuten wieder und Outlook arbeitet ganz normal weiter.


    Wenn wir die Maschine aus dem Wartungsmodus zurückholen scheint das zurückschwenken der Datenbanken den selben Effekt auszulösen.


    Dieses Problem hatten wir mit Exchange 2013 nie; dort hatten wir allerdings die CAS-Rolle auf separaten Servern laufen. Bei Exchange 2016 scheint das Problem (logischerweise) mit der Anzahl der Mailboxen immer schlimmer zu werden.


    Zur Umgebung: HLB (F5), 8 Server Exchange 2016 CU6, 17500 Mailboxen. Ein geringer Teil der Clients arbeitet mittlerweile mit MAPI/HTTP, der größere Teil nutzt noch das ältere Protokoll; das Problem mit der Anmeldemaske haben aber beide Varianten. Outlook Version ist ab 2013, auch hier keine Unterschiede im Verhalten zwischen 2013 und 2016.


    Der Wartungsmodus wird damit begonnen daß wir auf der F5 den Client Access für den betroffenen Server stillegen. In dieser Phase scheint es noch keine Probleme zu geben.
    Danach wird der Server wie üblich in den Wartungsmodus versetzt. Entweder jetzt oder spätestens wenn er durchgestartet wird erscheint bei den Usern dann das Anmeldefenster.


    Ich habe intensiv die Event Logs aller 8 Server durchgekaut und konnte nichts finden was in irgendeiner Form auf ein Problem während dieser Vorgänge (Wartungsmodus, DB-Schwenk) hindeutet.


    Hat einer im Forum eventuell eine Idee wonach ich noch schauen könnte? Im Augenblick können wir Wartungsarbeiten nur noch Sonntags durchführen, da das Problem so etwas werktags unmöglich macht.


    Vielen Dank!


    Rolf

    Da bisher niemandem dazu etwas einfiel habe ich eine noch mysteriösere Story dazu:


    Mittlerweile sind wir dazu übergegangen Server immer Abends nach Büroschluss in den Maintenance Mode zu versetzen. Das ist zwar nicht im Sinne des Erfinders, erspart uns aber eine Menge Support-Tickets und Anrufe (siehe oben). Tagsüber können dann die entsprechenden Server bearbeitet werden und es ist auch möglich sie im laufenden Betrieb wieder aus dem Maintenance Mode zurückzuholen.


    Heute hatten wir jedoch einen ausgesprochen unangenehmen Seiteneffekt.


    Eine Maschine wurde gestern Abend in den Maintenance Mode versetzt, da sie heute früh gepatcht werden sollte. Heute früh gab es hunderte Meldungen von Usern deren Outlook sich nicht starten ließ! Es waren nicht alle User betroffen, aber trotzdem eine durchaus beträchtliche Anzahl.


    Mit der Maschine im Maintenance Mode habe ich das Problem am Anfang gar nicht im Zusammenhang gesehen da wir sowas ja routinemäßig ohne Probleme immer wieder so machen.


    Nachdem die betroffene Maschine fertig gepatcht war, wurde der Maintenance Mode beendet und - auf einmal hatte keiner mehr Probleme mit Outlook!


    Es sieht so aus als wäre aus irgendwelchen Gründen Outlook-Connections auf der Maschine gelandet obwohl diese im Wartungsmodus war.


    Exchange 2016 wird mir langsam echt unheimlich ...

    • Offizieller Beitrag

    Moin,


    zum ursprünglichen Problem: Ich tippe auf den Loadbalancer oder fehlerhafte /differierende Authentifizierungseinstellungen auf vDirs.


    Zum Troublshooting reicht eventuell schon der Verbindungsstatus von Outlook aus, der zeigt an, für welche Verbindung ein Passwort gebraucht wird. Alternativ Fiddler nehmen und den HTTP-Traffic anschauen.


    Wir haben bei uns KEMP im Einsatz und seit der MIgration auf 2016 keinerlei Probleme mehr mit Anmeldefenstern. Im Gegenteil hatten wir früher sogar Anmeldefenster, wenn ein Client das Netzwerk wechselte (LAN zu WLAN und zurück), auch die sind weg.



    Zitat von ElRolfo

    Es sieht so aus als wäre aus irgendwelchen Gründen Outlook-Connections auf der Maschine gelandet obwohl diese im Wartungsmodus war.

    Nimmst Du den Knoten nicht aus dem Loadbalancer? Wenn Du den Wartungsmodus in Exchange korrekt einschaltest (Set-ServerComponentState $Servername -Component ServerWideOffline -State Inactive -Requester Maintenance) befindet sich Exchange danach in einem nach außen hin undefinierten Zustand. Dann sollten dort auch keine Clientverbindungen hingehen und der Knoten besser noch rechtzeitig vorher auch im LB deaktiviert werden.


    Ich bin mir ziemlich sicher, dass man den Status auch automatisiert auslesen kann und den Knoten im LB damit auch automatisch rausnehmen kann, finde aber auf die Schnelle den richtigen Ort nicht.

    Wir haben keinen Kemp, sondern eine F5. Die Server für Maintenance nehme ich natürlich aus dem Loadbalancer, und der zeigt auch brav an daß keine Connections mehr bestehen. Aber die Counter "\MSExchange RpcClientAccess\User Count"und "\MSExchange ActiveSync\Current Requests" zeigen auf dem betroffenen Server danach immer noch Verbindungen an. Diese gehen zwar über mehrere Stunden nach dem aktivieren des Maintenance Mode und dem Herausnehmen auf dem Loadbalancer drastisch runter (von ca. 1500 auf wenige hundert), aber es bleiben immer noch Verbindungen erhalten (laut Counter). Meine Vermutung ist daß diese Verbindungen die Ursache für die Probleme sind.


    Nach dem Restart des im Wartungsmodus befindlichen Servers (mit den damit verbundenen Problemmeldungen von Usern) tauchen nach einiger Zeit in den obigen Countern langsam wieder Werte ungleich Null auf - das bedeutet also daß auf magische Weise doch (wenige) Verbindungen auf die Maschine gelangen. Obwohl der Loadbalancer nichts mehr durchläßt, die Clients nicht direkt auf die Exchange-Server können (Firewall!) zeigen die Counter wieder was an. Und das obwohl auf dem Server zu diesem Zeitpunkt auch keine aktiven Datenbankkopien laufen.


    Am Montag ist ein Consultant von Microsoft im Haus (aus anderen Gründen), dem werde ich das Problem mal schildern und das Ergebnis hier posten!

    • Offizieller Beitrag
    Zitat von NorbertFe

    Kurze Zwischenfrage: @RobertW nutzt ihr Kemp im L7 oder L4 Modus?

    Wir nutzen die Templates von KEMP. HTTP/POP/IMAP läuft dabei als "Reencrypt", dass ist dann L7. Nur SMTP läuft explizit auf L4 mit Transparency und Direct Server Return, weil sonst die Source IP für die Connectoren nicht mehr zur Verfügung steht.



    Zitat von ElRolfo

    Am Montag ist ein Consultant von Microsoft im Haus (aus anderen Gründen), dem werde ich das Problem mal schildern und das Ergebnis hier posten!

    Sehr gerne!

    • Offizieller Beitrag
    Zitat von NorbertFe

    Layer 7 kann doch transparency, aber ja smtp hab ich auch meist auf Layer 4.

    Man kann L4/L7 nicht immer explizit auswählen, das hängt von anderen Einstellungen ab. Bei SSL-Reencrypt kannst Du auch keine Transparancy mehr einstellen, wäre ja auch irgendwie unsinnig. DSR geht dann umgekehrt logischerweise auch nur auszuwählen, wenn man L4+transparancy hat. Ist nicht immer einfach zu erkennen, was wie zusammen hängt, aber am Ende immer irgendwie logisch.



    Zitat von NorbertFe

    nutzt du kcd am kemp?

    Nein. Bisher habe ich bei uns da keinen Mehrwert gesehen, der den Aufwand rechtfertigt.