Verstoringen Youforce Self Service

4-5-2023 14:00 uur: Inmiddels hebben we van vele klanten de reactie ontvangen dat na opnieuw versturen het ondertekenen wel goed verlopen is. Hiermee wordt dit bericht gesloten. Wel wordt er nog onderzoek gedaan naar hoe digital signing nog stabieler/verbeterd kan worden.   25-04-2023 14:30 uur: Pd heeft verschillende digital signing requesten gevonden die zijn vastgelopen. Dit is nog ontstaan vanuit problemen binnen intra data die afgelopen donderdag (20 april) hebben plaatsgevonden.   De vastgelopen requesten zullen in de loop van de dag worden verwijderd aan de pd kant. De documenten komen dan te staan onder 'niet verzonden'. Wanneer je deze weer opnieuw verstuurd is de verwachting dat het goed gaat en de mail verstuurd wordt.   25-04-2023 11.30 uur: We zien de laatste tijd een aantal aanvragen met betrekking tot digital signing waarbij de batch blijft hangen op 'Bezig met verzenden' en hierdoor geen mail gestuurd wordt ter ondertekening. Het issue is met hoge prioriteit in behandeling. Wanneer meer informatie bekend is zal dit bericht worden bijgewerkt.

18-04-2023 14:37 uur: De aanpassing is teruggedraaid en het is weer mogelijk om ".doc" bestanden te uploaden.   18-04-2023 12:00 uur: We zien dat met een beveiligingsupdate van afgelopen vrijdag, het niet meer mogelijk is om .doc bestanden bij te voegen als bijlagen. Andere bestandstypes (zoals .docx, .xlsx en .pdf) werken wel naar behoren. De aanpassing wordt op dit moment teruggedraaid. Dit kan wellicht enige vertraging in HR Self Service veroorzaken. Onze excuses voor het ongemak.

30-3-2023 16:30 uur: Inmiddels hebben we van meerdere klanten reactie ontvangen dat het issue inderdaad verholpen is. Hiermee wordt dit verstoringsbericht gesloten.   30-3-2023 14:00 uur: We krijgen bericht vanuit PD dat het opgelost zou moeten zijn. We zijn nog in afwachting van klant reacties voordat we dit bericht zullen afsluiten.   30-3-2023 10:00 uur:   Op dit moment zien we meerdere meldingen dat het inloggen in digital signing niet lukt. Gebruikers krijgen de volgende melding te zien.   Het issue wordt op dit moment onderzocht. Zodra er meer bekend is zal dit bericht worden geüpdate.

23-03-2023 8:30 uur: De release is uitgevoerd en de validatie check werkt weer naar behoren. Ook zijn alle datafixes goed volbracht en zijn de persoonsgegevens weer geupdate vanuit de rubriekwaardes.   22-03-2023 13:00 uur: Het issue is ontstaan doordat een validatie check verkeerd stond ingesteld. Deze zal middels een release weer goed worden gezet. Dit zal hoogst waarschijnlijk vanavond worden uitgevoerd.   Voor de persoonsgegevens die in de tussentijd niet zijn geupdate vanuit de waardes in de rubrieken zal vandaag nog een datafix plaats vinden om dit recht te trekken.   Morgen zullen de juiste persoonsgegevens weer worden weergegeven in de 'te doen' , archief en de headers binnen mutaties.   22-03-2023 10:00 uur: De oorzaak is gevonden. Er wordt op dit moment gewerkt aan een fix die zo spoedig mogelijk wordt uitgerold. Wanneer bekend is wanneer de release zal plaats vinden zal dit bericht worden geüpdate.   21-03-2023 14:30 uur: Op dit moment zien we dat het verwerken van de persoonsgegevens niet correct gaat. Hierdoor kan het voorkomen dat bij wijzigingen de oude waarde wordt vast gehouden. Denk bijvoorbeeld aan voorvoegsels, voorletters en achternaam die onlangs gewijzigd zijn. Deze zullen in archief en te doen nog de oude waardes bevatten. Mocht het volledig nieuwe medewerkers zijn kan het zelfs voorkomen dat deze gegevens in self service geen enkele persoonsgegevens bevatten. Naast het archief en te doen heeft dit ook impact op de headers binnen de mutatie.   Er wordt met hoogste prioriteit aan een oplossing gewerkt.  

Update 16-03-2023 13:00 uur: We hebben de performance goed gemonitord en zien dat deze stabiel zijn gebleven.   De performance issues zijn ontstaan door een service instance die geen juiste verdeling kon maken tussen de lopende processen. Hierdoor ontstond vertraging en werden niet alle processen volledig voltooid. Dit uiten zich in traagheid met als gevolg ook time out errors (500 melding).   PD blijft de performance monitoren en werkt ondertussen aan proces optimalisatie zodat de verdeling makkelijker door de service instance uit te voeren zijn en waar nodig een herstart sneller en beter in gang gezet kan worden.   Update 15-03-2023 13:00 uur: Self Service is weer stabiel en de performance is weer op peil.   We hebben de getroffen instance verwijderd en een nieuwe opgestart. Na 25 minuten (na opnieuw starten) is het gestabiliseerd.    Er zijn een aantal mogelijke oorzaken gevonden. Hier komen we later nog op terug in dit bericht.    Update 15-03-2023 11:45 uur: PD werkt hard aan een oplossing om de service instances terug te krijgen naar het 'normale' niveau.   Helaas hebben de uitgevoerde acties nog geen resultaat opgeleverd. Er zijn kleine periodes waarin de performance stabiel is maar we blijven pieken terug zien in de monitoring. Er wordt op dit moment gekeken hoe we de performance weer op peil kunnen krijgen.   - We zien in de monitoring dat er performance issues zijn en sprake is van traagheid. Op dit moment wordt het issue geanalyseerd. Excuus voor het ongemak.    Zodra er meer bekend is zal dit bericht worden geupdate.

Update 8-3-2023 9:30 uur:  De laatste medewerkers zijn ook geïmporteerd. Hiermee komt Self service weer volledig overeen met HR Core.   Wij adviseren om in de periode van 21 februari tot 2 maart een steekproef te doen met betrekking tot behandelde mutaties. Mocht je specifieke ondersteuning nodig hebben van het Service Centrum dan vragen we je om een aanvraag in te dienen.   Hiermee zal dit bericht worden afgesloten.   Update 7-3-2023 10:00 uur: We hebben afrondende controles gedaan. Hieruit is gebleken dat een aantal medewerkers niet mee zijn genomen in de selectie van de import. Deze medewerkers worden op dit moment geïmporteerd.    Update 6-3-2023 10:00 uur: De processen zijn afgerond en Self service is weer volledig in sync met HR Core Beaufort.    Wij adviseren om in de periode van 21 februari tot 2 maart een steekproef te doen met betrekking tot behandelde mutaties. Mocht je specifieke ondersteuning nodig hebben van het Service Centrum dan vragen we je om een aanvraag in te dienen.   Update 3-3-2023 10:00 uur: Op dit moment is er nog een aantal bestanden die verwerkt moeten worden. Wij verwachten hiervoor vandaag nog nodig te hebben. Het weekend zullen we gebruiken om de processen volledig af te ronden.    Maandagochtend zal een nieuwe update komen.   Update 2-3-2023 16:00 uur: Helaas is het nog niet gelukt om alle bestanden volledig te verwerken. Hier wordt met de hoogste prioriteit aan doorgewerkt.    De update vanuit Beaufort heeft ook in veel gevallen tot gevolg gehad dat de initiële aanlevering ook in tactische modules heeft plaats gevonden.   In het geval van verzuimmanagement kan dit tot gevolg hebben dat het actieprotocol opnieuw is geactiveerd. Voor meer informatie zie ook de verzuim community herstelexport naar Selfservice heeft ook geleidt tot initiële aanlevering naar Verzuim Management   Morgen ochtend zal een nieuwe update volgen.   Update 2-3-2023 9:00 uur: We zien dat het grootste deel inmiddels verwerkt is. Er zijn nog een aantal bestanden die verwerkt moeten worden. We verwachten dat dit uiterlijk in de loop van de dag voltooid zal worden.   Update 1-3-2023 16:30 uur: De uitvraag om de gegevens opnieuw te ontvangen vanuit hr core Beaufort in Self service staat klaar. Dit zal zoals gepland aan het eind van de dag worden ingelezen en zal de komende nacht worden verwerkt. Morgen ochtend zullen we het bericht updaten.   Update 1-3-2023 11:30 uur: We hebben de oorzaak achterhaald. Het is ontstaan vanwege een release die is uitgerold op 21 februari. Deze release hebben we vanochtend terug gedraaid. Hiermee komt het issue nu niet meer voor.   Omdat we 100% zeker willen zijn dat de informatie vanuit hr core en self service overeenkomen, gaan we de medewerkers waarbij een wijziging heeft plaatsgevonden na de release opnieuw importeren in self service.   Dit zal aan het eind van de dag in gang gezet worden. Hiermee zal de informatie binnen hr core en self service morgen ochtend weer volledig overeenkomen.    Aan het eind van de dag zal een update volgen.   -- We zien dat het voor kan komen dat rubrieken (waaronder ziektegegevens) niet goed worden verwerkt vanuit het import bestand.   Er wordt op dit moment met alle prioriteit gewerkt om de oorzaak te achterhalen.   Mocht je het idee hebben dat dit voor jou ook geldt dan ontvangen we graag een recent (van vandaag) volledig uitgewerkt voorbeeld mutatie in een aanvraag.

Update 7-3-2023 11:00 uur: We hebben dit issue afgelopen tijd gemonitord en zien dat dit niet meer is voorgekomen. Hiermee zal dit verstoringsbericht worden gesloten.   Update 5-12-2022 14:15 uur: Wij zien dat meerdere klanten nog vragen hebben over deze melding, en aangeven dat deze melding nog steeds voor komt. Dit klopt helaas. Er waren 2 problemen die dezelfde foutmelding veroorzaakt. 1 van deze oorzaken was de ASM Module. Dit probleem is nu opgelost.    De tweede oorzaak is dat de server soms "Out of Memory" raakt. Dit probleem speelt helaas nog steeds en kan deze foutmelding veroorzaken. Momenteel wordt dit opgelost door de geraakte server te herstarten, dit kunnen wij in sommige gevallen al doen net voordat de "Out of Memory" melding komt. Maar dit lukt helaas niet altijd.   Wij zijn nog bezig de oorzaak van dit probleem te vinden om dit permanent te kunnen oplossen. Dit probleem is nog dus nog niet helemaal opgelost. Onze excuses als vorig bericht verwarring heeft veroorzaakt.   Update 1-12-2022 10.00 uur: De melding 'onbekende fout' werd op twee manieren veroorzaakt.    Binnen kantoor tijden werd dit veroorzaakt door de 'Out of memory' issue die dit eerder ook veroorzaakte. Er wordt nu nog gewerkt aan een generieke oplossing.   Daarnaast kwam de melding ook voor buiten kantoor tijden. Dit had te maken met de ASM module. Deze module werd gestart buiten kantoor tijden. Dit veroorzaakt dat bepaalde scripts en formules in de declaratie formulieren werden geblokkeerd. Deze ASM module is nu op transparant gezet. Dit houd in dat deze nog wel draait maar dat het jullie werkzaamheden niet meer hindert. Dit issue is dus volledig opgelost.   Update 29-11-2022 12.00 uur: Helaas zien we weer berichten van klanten waarbij de melding 'onbekende fout' weer naar boven komt bij declaraties. Het issue is bekend bij PD en er wordt gewerkt aan een oplossing. We houden jullie op de hoogte.   Update 17-11-2022 8.30 uur: Wij hebben aanpassingen gedaan in hoe vaak een service instance wordt herstart. Hierdoor hoort dit probleem niet meer voor te komen. Ook hebben wij de monitoring op dit probleem aangepast waardoor dit probleem wordt voorkomen. De Service instances zullen nu minder lang open staan waardoor de “Out of Memory” error wordt voorkomen.   Update 15-11-2022 13.00 uur: Onder tussen hebben we mogelijk de oorzaak gevonden. De melding ontstaat zodra de service instance "out of memory" raakt. Zodra de instance opnieuw wordt opgestart is het probleem verholpen. Op dit moment is PD aan het onderzoeken of er mogelijkheden zijn om dit automatisch opnieuw op te starten. Tot die tijd wordt dit gemonitord en zodra het issue voorkomt worden de instances direct herstart door PD.   We zien dat er steeds meer meldingen komen waarbij er sprake is van de foutmelding "onbekende fout" bij het indienen van declaraties. Het issue is bekend bij PD en er wordt gewerkt aan een oplossing.    

Update 10-2-2023 8:00 uur: Het issue is verholpen. De oorzaak was een 'corrupt' document die de server tegenhield. Na een herstart was het probleem opgelost.   ---   We krijgen op dit moment een aantal meldingen waarin PDF bestanden niet worden geladen.    In eerste instantie blijft het ladings teken staan daarnaast is het mogelijk dat de sadface melding ontstaat.  Het issue is in onderzoek.

Update 9-2-2023 9:30 uur: De fix is gister uitgerold en we zien dat de export weer op normaal niveau loopt.   Update 8-2-2023 15:30 uur:  PD heeft een fix klaar gezet die hoogst waarschijnlijk vandaag nog wordt uitgerold. Wanneer dit is afgerond zal dit bericht verder worden geüpdate.    Op dit moment hebben we een issue met export richting Beaufort.   Verwachting is dat dit te maken heeft met mutaties waarin VC-rubrieken (vacature rubrieken) worden gebruikt. Deze vallen uit waardoor de gehele export stil ligt. DEVOPS en PD zijn op de hoogte. Er wordt op dit moment gewerkt aan een oplossing. Tot die tijd zullen de getroffen mutaties worden overgeslagen en zal DEVOPS de overige mutaties handmatig triggeren om de export niet volledig stil te laten vallen.   Let op de mutatie zelf hoeft dus geen vacature mutatie te zijn, het gaat over alle mutatie soorten waarin deze rubrieken worden gebruikt.

Update 13:15 uur Microsoft heeft een fix uitgerold waardoor het probleem in Azure is opgelost. Wij zien ook in onze monitoring dat de stabiliteit en performance zijn genormaliseerd.     Microsoft meldt dat er op dit moment er een wereldwijde storing is in Azure. Dit heeft impact op de beschikbaarheid en performance van Youforce. Wij zien dit helaas ook in onze monitoring, en zijn in afwachting van een oplossing door Microsoft. Actuele informatie over de storing vind je hier: https://status.azure.com/en- gb/status

Update 27-1-2023 10:00 uur: De bestanden zijn uitgevallen vanwege het bereiken van een maximale capaciteit op de BO4 database binnen self service. Deze is op 25 januari half 10 vergroot. Inmiddels zijn ook alle bestanden die om deze reden waren uitgevallen opnieuw ingelezen.   Update 25-01-2023 13:30 uur: PD gaat de uitgevallen files opnieuw importeren. Zodra het is uitgevoerd zal dit bericht worden geüpdate.   --- Sinds gister rond 18:00 uur zien we een aantal import files uitvallen met de melding    Systeemfout, het programma is afgebroken. Neem contact op met Service Center. (e27bfb76-f6b5-4282-bba0-ad3f0e0d6fdd).   De oorzaak is verholpen. Nieuwe file zullen dus niet meer uitvallen. Er wordt nog gekeken naar hoe de uitgevallen bestanden het beste kunnen worden hersteld.

De capaciteit is verhoogd waarmee de stabiliteit weer is hersteld.   Op dit moment wordt de capaciteit van de BO4 database binnen self service vergroot. Dit kan helaas tot gevolg hebben dat jullie op dit moment time out sessies kunnen ervaren.

Update 4:40 uur: DEVOPS heeft het issue gevonden en verholpen. De import is weer gaan lopen.   We zien dat op dit moment de import in Self Service stil ligt. Het DEVOPS team werkt hard aan een oplossing. Zodra er meer informatie bekend is wordt dit bericht geüpdate.

6-12-2022 13.45 uur:  De vertragingen zijn verholpen. De wachtrij is inmiddels weer bij en alle documenten worden op de normale snelheid gegenereerd.   6-12-2022 11.00 uur: We zien dat het genereren van documenten vertraagd is binnen Self Service. Op dit moment wordt onderzocht wat de oorzaak is. Zodra er meer informatie is zal dit bericht worden geupdate.

Update 13:35 uur: Alles verloopt weer naar behoren. Excuus voor het ongemak.    Update 12:35 uur: De verwachting is dat de koppeling vanaf 13.00 uur weer naar behoren loopt.   Op dit moment kan het voorkomen dat HE bestanden niet of vertraagd doorkomen in Beaufort. We doen er alles aan om dit zo spoedig mogelijk op te lossen. 

Update 16.00 uur: De rest van de dag is de performance stabiel gebleven. Ook hebben we veel positieve berichten vanuit klanten ontvangen. PD heeft een generieke oplossing doorgevoerd. De instance die problemen veroorzaakte is volledig vervangen.   Update 12.30 uur: De verstoring werd veroorzaakt door een instance met een te hoge respons tijd. Ook nadat deze instance herstart was bleven de problemen bestaan. PD heeft de capaciteit verhoogd en de instance weer herstart. We zien dat de performance issues hiermee verminderd zijn. Het kan zijn dat je even opnieuw moet inloggen voor je de verbetering merkt.   Wel blijft de instance die voor problemen zorgde nog bestaan. De herstart is een workaround. PD blijft daarom monitoren en werken aan een generieke oplossing.   Update 11.10 uur: Veel klanten melden last te hebben van traagheid en witte schermen die ook kunnen leiden tot 500 errors. We zijn op de hoogte en werken met alle hoogste prioriteit aan een oplossing. Zodra er meer bekend is zal dit bericht worden geupdate.

Vrijdagmorgen 14 oktober waren er performance problemen met Self Service. Na onderzoek van onze telemetrie, bleek al snel dat de servers van Self Service niet de oorzaak waren. Ons viel direct op dat er verschillende dips waren in het aantal verzoeken dat de servers van Self Service te verwerken kregen. Zie onderstaande grafiek. Deze dips waren voor ons een indicatie dat er een probleem was tussen de browser van de gebruikers en het verwerken van de verzoeken op de omgeving.   Om dit verder te onderzoeken hebben we de volgende stappen genomen: Laatste release van Self Service teruggedraaid, dit is onderdeel van de “best practice” om snel terug te gaan naar een stabiele situatie. Helaas bleef het probleem bestaan en hebben we de volgende stap genomen. Analyse van alle componenten tussen de browser en de Self Service omgeving. Dit is een lijst van componenten die zorgen voor Authenticatie, Autorisatie, Performance en Security. Microsoft betrokken om te helpen met de analyse van de verschillende componenten. Oorzaak van het probleem gevonden bij een van de componenten namelijk de Application Gateway, deze component de Application Gateway is een component dat verantwoordelijk is om het web verkeer te verdelen over onze Self Service omgevingen. Deze component bestaat intern uit verschillende virtuele instances om een goede performance te garanderen. Het bleek dat een van die virtuele instances corrupt was geraakt, dit werd ook bevestigd door de Microsoft engineer. Deze engineer heeft de logfiles op dat moment zeker gesteld. Toen we de Application Gateway forceerde om nieuwe instances te gebruiken was het probleem opgelost. Daarna hebben we de Application Gateway terug gezet in de oorspronkelijk configuratie waardoor deze weer kan groeien tussen de 2 en 10 instances. Omdat het inmiddels na 21:00 uur was en er niet veel gebruikers meer op het systeem waren hebben we een aantal performance tests uitgevoerd om te controleren of het systeem ook stabiel blijft draaien als er meer gebruikers zouden zijn. Het probleem trad tijdens deze performance testen niet meer op. Vanaf vanmorgen zien we dat de Application Gateway stabiel is gebleven, maar dat de load heel hoog is waardoor het heel druk is op de omgeving. We hebben in de loop van de ochtend de capaciteit verhoogd waardoor de performance verbeterde. Uiteraard blijven we dit scherp monitoren.

Update 8-11-2022 12.00 uur: We zien dat deze specifieke performance problemen niet meer voorkomen. Dit verstoringsbericht zal hiermee worden afgesloten. Weet dat we continu blijven werken aan de performance problemen zie ook de eerder geplaatste berichten onder Nieuws.   Update 01-11-2022 17.30 uur De performance heeft zich in de de loop van de middag gestabiliseerd. Wij blijven dit uiteraard scherp monitoren.   Update 1-11-2022 11.45 uur: Klanten melden wederom vertragingsproblemen en 500 errors. We zijn aan het uitzoeken wat de oorzaak is.   Update 31-10-2022 13.15 uur: Op dit moment zien wij in onze monitoring dat de performance geen problemen geeft.. Wij blijven dit nauwlettend in de gaten houden.    Op dit moment is het erg druk op onze servers. Hierdoor kan traagheid van Self Service worden ervaren met daarbij incidenteel meldingen van 500 errors. Er wordt met spoed gewerkt aan een oplossing.

27.10.2022 13.00 We zien dat de performance na de aanpassingen stabiel is gebleven. Hiermee wordt dit verstoringsbericht afgesloten. We begrijpen de frustraties en blijven continu aan verbeteringen werken.   27.10.2022 11:45 De CPU's waren overbelast. We hebben acties genomen om dit weer in orde te brengen en zien dat de performance weer stabiliseert.    27.10.2022 9:15  Op dit moment is er sprake van traagheid binnen Self Service wat kan resulteren in 500 errors. We zijn dit aan het onderzoeken en houden je op de hoogte van de voortgang.

Vanochtend hebben wij performance problemen geconstateerd. Deze problemen hebben van 9:00 uur t/m 10:30 uur geduurd. Een aantal processen namen erg veel tijd en capaciteit in beslag. Hierdoor liepen de andere processen op de server met vertraging. Dit had voornamelijk te maken met het berekenen van autorisaties. Inmiddels hebben wij acties ondernomen en zijn deze problemen opgelost. Wij zien ook in de monitoring de performance weer stabiliseren.