Verstoringen Youforce Self Service

Update 16.00 uur: De rest van de dag is de performance stabiel gebleven. Ook hebben we veel positieve berichten vanuit klanten ontvangen. PD heeft een generieke oplossing doorgevoerd. De instance die problemen veroorzaakte is volledig vervangen.   Update 12.30 uur: De verstoring werd veroorzaakt door een instance met een te hoge respons tijd. Ook nadat deze instance herstart was bleven de problemen bestaan. PD heeft de capaciteit verhoogd en de instance weer herstart. We zien dat de performance issues hiermee verminderd zijn. Het kan zijn dat je even opnieuw moet inloggen voor je de verbetering merkt.   Wel blijft de instance die voor problemen zorgde nog bestaan. De herstart is een workaround. PD blijft daarom monitoren en werken aan een generieke oplossing.   Update 11.10 uur: Veel klanten melden last te hebben van traagheid en witte schermen die ook kunnen leiden tot 500 errors. We zijn op de hoogte en werken met alle hoogste prioriteit aan een oplossing. Zodra er meer bekend is zal dit bericht worden geupdate.

Update 8-11-2022 12.00 uur: We zien dat deze specifieke performance problemen niet meer voorkomen. Dit verstoringsbericht zal hiermee worden afgesloten. Weet dat we continu blijven werken aan de performance problemen zie ook de eerder geplaatste berichten onder Nieuws.   Update 01-11-2022 17.30 uur De performance heeft zich in de de loop van de middag gestabiliseerd. Wij blijven dit uiteraard scherp monitoren.   Update 1-11-2022 11.45 uur: Klanten melden wederom vertragingsproblemen en 500 errors. We zijn aan het uitzoeken wat de oorzaak is.   Update 31-10-2022 13.15 uur: Op dit moment zien wij in onze monitoring dat de performance geen problemen geeft.. Wij blijven dit nauwlettend in de gaten houden.    Op dit moment is het erg druk op onze servers. Hierdoor kan traagheid van Self Service worden ervaren met daarbij incidenteel meldingen van 500 errors. Er wordt met spoed gewerkt aan een oplossing.

27.10.2022 13.00 We zien dat de performance na de aanpassingen stabiel is gebleven. Hiermee wordt dit verstoringsbericht afgesloten. We begrijpen de frustraties en blijven continu aan verbeteringen werken.   27.10.2022 11:45 De CPU's waren overbelast. We hebben acties genomen om dit weer in orde te brengen en zien dat de performance weer stabiliseert.    27.10.2022 9:15  Op dit moment is er sprake van traagheid binnen Self Service wat kan resulteren in 500 errors. We zijn dit aan het onderzoeken en houden je op de hoogte van de voortgang.

Vrijdagmorgen 14 oktober waren er performance problemen met Self Service. Na onderzoek van onze telemetrie, bleek al snel dat de servers van Self Service niet de oorzaak waren. Ons viel direct op dat er verschillende dips waren in het aantal verzoeken dat de servers van Self Service te verwerken kregen. Zie onderstaande grafiek. Deze dips waren voor ons een indicatie dat er een probleem was tussen de browser van de gebruikers en het verwerken van de verzoeken op de omgeving.   Om dit verder te onderzoeken hebben we de volgende stappen genomen: Laatste release van Self Service teruggedraaid, dit is onderdeel van de “best practice” om snel terug te gaan naar een stabiele situatie. Helaas bleef het probleem bestaan en hebben we de volgende stap genomen. Analyse van alle componenten tussen de browser en de Self Service omgeving. Dit is een lijst van componenten die zorgen voor Authenticatie, Autorisatie, Performance en Security. Microsoft betrokken om te helpen met de analyse van de verschillende componenten. Oorzaak van het probleem gevonden bij een van de componenten namelijk de Application Gateway, deze component de Application Gateway is een component dat verantwoordelijk is om het web verkeer te verdelen over onze Self Service omgevingen. Deze component bestaat intern uit verschillende virtuele instances om een goede performance te garanderen. Het bleek dat een van die virtuele instances corrupt was geraakt, dit werd ook bevestigd door de Microsoft engineer. Deze engineer heeft de logfiles op dat moment zeker gesteld. Toen we de Application Gateway forceerde om nieuwe instances te gebruiken was het probleem opgelost. Daarna hebben we de Application Gateway terug gezet in de oorspronkelijk configuratie waardoor deze weer kan groeien tussen de 2 en 10 instances. Omdat het inmiddels na 21:00 uur was en er niet veel gebruikers meer op het systeem waren hebben we een aantal performance tests uitgevoerd om te controleren of het systeem ook stabiel blijft draaien als er meer gebruikers zouden zijn. Het probleem trad tijdens deze performance testen niet meer op. Vanaf vanmorgen zien we dat de Application Gateway stabiel is gebleven, maar dat de load heel hoog is waardoor het heel druk is op de omgeving. We hebben in de loop van de ochtend de capaciteit verhoogd waardoor de performance verbeterde. Uiteraard blijven we dit scherp monitoren.

Vanochtend hebben wij performance problemen geconstateerd. Deze problemen hebben van 9:00 uur t/m 10:30 uur geduurd. Een aantal processen namen erg veel tijd en capaciteit in beslag. Hierdoor liepen de andere processen op de server met vertraging. Dit had voornamelijk te maken met het berekenen van autorisaties. Inmiddels hebben wij acties ondernomen en zijn deze problemen opgelost. Wij zien ook in de monitoring de performance weer stabiliseren. 

4 oktober 2022 - 16:00 - Wij hebben de performance verder gemonitord. Wij zien dat deze is verbeterd en dat de problemen van gisteren niet zijn teruggekomen. Door de aanpassingen die we hebben uitgevoerd,  is het probleem verholpen. Daarom sluiten we hiermee deze melding.   De problemen van gisteren stonden los van de problemen van vorige week. Over deze problemen zullen wij nog een analyse van de dieperliggende oorzaak geven. Een aantal klanten heeft aangegeven dat zij nog performance problemen hebben. Deze zijn niet gerelateerd aan de problemen van gisteren; wij gaan dit via de ingediende ITRP tickets verder onderzoeken.   3 oktober 2022 - 16:30 - De Firewall is aangepast en we zien dat deze hierdoor weer goed werkt. De storing in de firewall veroorzaakte ook problemen in systemen binnen HR Self Service. Deze systemen hebben we opnieuw opgestart en ze werken nu ook weer naar behoren. Hoewel meerdere klanten ons hebben laten weten dat het weer goed werkt, lijken er voor sommige klanten nog steeds vertragingen te zijn. Wij blijven de performance monitoren en zullen acties ondernemen waar nodig. We zijn aan het onderzoeken waarom het nog niet bij iedereen goed werkt. Morgenochtend volgt een nieuwe update.   3 oktober 2022 - 10:40 - Wij hebben zojuist een aantal aanpassingen gedaan, waardoor je geen foutmeldingen meer te zien krijgt. Er ging iets niet goed in de Firewall die wij gebruiken. Hierdoor werden veel aanvragen afgewezen en dat gaf foutmeldingen. Dit gebeurde voornamelijk in HR Self Service, maar ook andere modules werden hierdoor geraakt. Inmiddels hebben wij aanpassingen gedaan en zien dat de Firewall nu weer alle aanvragen kan behandelen. Als je nog steeds dergelijke meldingen krijgt, horen wij dat graag. Wij onderzoeken momenteel waardoor dit probleem is ontstaan. Als wij hier meer informatie over hebben, laten we dit weten via een update van dit bericht.   3 oktober 2022 - 09:40 - Momenteel komen er veel foutmeldingen in HR Self Service. Voornamelijk de 500-melding, de melding dat de webpagina problemen ondervindt en mogelijk is verplaatst naar een ander webadres. Wij zijn deze problemen aan het onderzoeken. Zodra er meer informatie is, plaatsen we een update. 

21-09-2022 12:45 De verstoring is opgelost. We sluiten deze melding. 21-09-2022 10:00 Op dit moment loopt een onderzoek naar de export vanuit Selfservice naar Beaufort. Bij een aantal klanten werkt deze koppeling niet. Wij houden je op de hoogte van de voortgang.

Update 21 september 2022 - 09:00 - We zien dat de acties die we gisteren hebben uitgevoerd, hebben geholpen en dat de performance van Self Service weer stabiel is. Hiermee sluiten we dit bericht.   Update 20 september 2022 - 17:00 - We hebben een aantal corrupte bestanden verwijderd en verwachten dat de performance in de loop van de avond verbetert. We nemen nog contact op met Microsoft Azure om de dieperliggende oorzaak te achterhalen. Morgen volgt er een nieuwe update.   20 september 2022 - 14:00 - Op dit moment is er sprake van een verstoring binnen Self Service waarbij verschillende foutmeldingen optreden waardoor de toegang is vertraagd  of geblokkeerd. We onderzoeken de oorzaak en houden je op de hoogte. 

14 september 08:45 - De verstoring is opgelost. Wij sluiten deze melding. 13 september 11:30 - Door verminderde performance in Self Service kan foutmelding 500 verschijnen. Op dit moment wordt hier onderzoek naar gedaan. Wij houden je op de hoogte van de voortgang.

13-09-2022 - Vanavond vindt een release plaats die dit issue moet oplossen. 09-09-2022 - In sommige gevallen wordt de  ToDo lijst niet bijgewerkt, wanneer deze wordt geopend door de gebruiker. Dit wordt veroorzaakt door een aanpassing die gisteren is uitgerold. Wij zijn bezig om het deel van de fix dat dit probleem veroorzaakt terug te draaien. Tot die tijd adviseren wij om de F5 toets te gebruiken om de pagina te vernieuwen zodat de bijgewerkte ToDo lijst wordt getoond.

Afgehandeld: Het probleem is opgelost.    Update 30-8-2022 Het probleem is nog niet opgelost. We zijn nog druk bezig om dit issue zo spoedig mogelijk op te lossen.    Op dit moment is er een verstoring bij het in bulk printen van mutaties. Als meerdere mutaties worden geselecteerd om te printen wordt er maar één mutatie meerdere malen geprint. Advies is om mutaties per stuk te printen. De afdeling Product Development is aan het onderzoeken wat de oorzaak is en hoopt dit zo snel mogelijk op te lossen.

12 augustus 08:00 Alle achterstand is verwerkt, daarom sluiten we deze melding. 11 augustus 11:15 Op dit moment is er vertraging bij de import van bestanden van Beaufort in HR Self Service. De import heeft even stil gestaan waardoor er veel bestanden in de wachtrij zijn gekomen. Wij verwachten dat de wachtrij morgenochtend helemaal weggewerkt is. Tot die tijd duurt het langer voordat de veranderingen in Beaufort door komen naar HR Self Service. Wij houden je op de hoogte van de voortgang.

21.07.2022 10:30 Alle modules zijn weer beschikbaar. Wij monitoren de performance de komende tijd nauwgezet. Ook Microsoft blijft het probleem onderzoeken en het is mogelijk dat hun systemen nog wat langer onstabiel blijven, waardoor er weer haperingen kunnen optreden op onze modules. 21.07.2022 10:00 Het incident met Microsoft Azure in West-Europa wordt opgelost. Wij zijn aan het testen om te controleren of Microsoft Azure weer volledig beschikbaar is. Als dit het geval is zullen de getroffen modules zo snel als mogelijk weer beschikbaar zijn. 21.07.2022 - 8:15 In verband met een (Europese) storing bij Microsoft Azure is Self Service op dit moment niet beschikbaar. Er wordt gewerkt aan een oplossing. Wij houden je op de hoogte van de voortgang. 

5 juli 2022 - 09:30 - Wij hebben het onderliggende probleem ook opgelost. De foutmeldingen komen niet meer voor. Daarnaast hebben wij acties ondernomen om dit soort problemen te voorkomen.   1 juli 2022 - 15;00 - Momenteel ondervindt Self Service een storing. Hierdoor kunnen er 500- en 503-foutmeldingen voorkomen. Wij hebben de oorzaak gevonden en hebben acties ondernomen om de foutmeldingen te voorkomen. We gaan nog vervolgacties ondernemen om ook het onderliggende probleem op te lossen. Wij zullen maandag een update geven over de voortgang.

1 juli 2022 - Vanochtend is er een korte storing geweest die resulteerde in traagheid, witte schermen en een foutmelding 'Technisch onderhoud'. Dit is ondertussen opgelost. Het kan zijn dat je opnieuw moet inloggen.

30 juni 2022 - 12:30 - De storing is inmiddels verholpen. Vanaf 11:00 uur vanochtend zien we dat de performance weer stabiel is. Mocht je toch nog problemen ondervinden, willen we je vragen een request aan te maken, zodat we hier meteen mee aan de slag kunnen.   30 juni 2022 - 10:15 - Op dit moment zijn er helaas performance problemen binnen Self Service. Dit uit zich in traagheid en verschillende foutmeldingen. We werken met de hoogste prioriteit aan een oplossing en houden je op de hoogte.

21 juni 2022 - 11.00 - De release heeft vanochtend plaatsgevonden. De dubbel aangemaakte eindgebruikers zijn verwijderd en de mogelijke autorisatieproblemen die hieruit waren ontstaan, zijn opgelost.   20 juni 2022 - 16:15 - We hebben de oorzaak gevonden en we bereiden een release voor om het probleem op te lossen. Wij verwachten deze release dinsdag 21 juni uit te leveren.   20 juni 2022 - 15:00 - Op dit moment zijn er problemen binnen user management en zien we dat er voor een aantal medewerkers een tweede eindgebruiker record is aangemaakt. Dit zorgt ervoor dat de autorisatie niet goed verloopt bij deze medewerkers. Mocht je dit probleem signaleren, willen we je vragen een request aan te maken. We werken met spoed aan een oplossing.

13 juni 2022 - 13:45 - Inmiddels zijn alle mutaties afgehandeld en zijn de documenten gegenereerd.   13 juni 2022 - 10:00 - Vanaf dit weekend zijn mutaties waar een document werd gegenereerd. geblokkeerd. Op dit moment zijn we dit proces aan het herstarten. We verwachten in de loop van de ochtend dat alle documenten zijn gegenereerd.

7 juni 2022 - 15:45 uur - Het probleem met niet verzonden bijlagen is opgelost.   7 juni 2022 - 11:30 uur - Op dit moment lijkt er een verstoring te zijn met de bijlagen die niet verzonden worden. Er ontstaat een foutmelding met de tekst: Het verwerken van bijlagen is bezig. Uitvoeren van vervolgtaken is geblokkeerd. We proberen dit zo snel mogelijk op te lossen.

9 juni 2022 - 09:00 uur - Gisteravond hebben we onderhoud uitgevoerd aan Self Service, waarmee het probleem met de zwangerschapsformulieren opgelost is.   30 mei 2022 - Op dit moment wordt bij zwangerschapsformulieren de einddatum niet berekend. We werken aan een oplossing en houden je op de hoogte.