Verstoringen Youforce Self Service

4-5-2023 14:00 uur: Inmiddels hebben we van vele klanten de reactie ontvangen dat na opnieuw versturen het ondertekenen wel goed verlopen is. Hiermee wordt dit bericht gesloten. Wel wordt er nog onderzoek gedaan naar hoe digital signing nog stabieler/verbeterd kan worden.   25-04-2023 14:30 uur: Pd heeft verschillende digital signing requesten gevonden die zijn vastgelopen. Dit is nog ontstaan vanuit problemen binnen intra data die afgelopen donderdag (20 april) hebben plaatsgevonden.   De vastgelopen requesten zullen in de loop van de dag worden verwijderd aan de pd kant. De documenten komen dan te staan onder 'niet verzonden'. Wanneer je deze weer opnieuw verstuurd is de verwachting dat het goed gaat en de mail verstuurd wordt.   25-04-2023 11.30 uur: We zien de laatste tijd een aantal aanvragen met betrekking tot digital signing waarbij de batch blijft hangen op 'Bezig met verzenden' en hierdoor geen mail gestuurd wordt ter ondertekening. Het issue is met hoge prioriteit in behandeling. Wanneer meer informatie bekend is zal dit bericht worden bijgewerkt.

Update 27-1-2023 10:00 uur: De bestanden zijn uitgevallen vanwege het bereiken van een maximale capaciteit op de BO4 database binnen self service. Deze is op 25 januari half 10 vergroot. Inmiddels zijn ook alle bestanden die om deze reden waren uitgevallen opnieuw ingelezen.   Update 25-01-2023 13:30 uur: PD gaat de uitgevallen files opnieuw importeren. Zodra het is uitgevoerd zal dit bericht worden geüpdate.   --- Sinds gister rond 18:00 uur zien we een aantal import files uitvallen met de melding    Systeemfout, het programma is afgebroken. Neem contact op met Service Center. (e27bfb76-f6b5-4282-bba0-ad3f0e0d6fdd).   De oorzaak is verholpen. Nieuwe file zullen dus niet meer uitvallen. Er wordt nog gekeken naar hoe de uitgevallen bestanden het beste kunnen worden hersteld.

Vrijdagmorgen 14 oktober waren er performance problemen met Self Service. Na onderzoek van onze telemetrie, bleek al snel dat de servers van Self Service niet de oorzaak waren. Ons viel direct op dat er verschillende dips waren in het aantal verzoeken dat de servers van Self Service te verwerken kregen. Zie onderstaande grafiek. Deze dips waren voor ons een indicatie dat er een probleem was tussen de browser van de gebruikers en het verwerken van de verzoeken op de omgeving.   Om dit verder te onderzoeken hebben we de volgende stappen genomen: Laatste release van Self Service teruggedraaid, dit is onderdeel van de “best practice” om snel terug te gaan naar een stabiele situatie. Helaas bleef het probleem bestaan en hebben we de volgende stap genomen. Analyse van alle componenten tussen de browser en de Self Service omgeving. Dit is een lijst van componenten die zorgen voor Authenticatie, Autorisatie, Performance en Security. Microsoft betrokken om te helpen met de analyse van de verschillende componenten. Oorzaak van het probleem gevonden bij een van de componenten namelijk de Application Gateway, deze component de Application Gateway is een component dat verantwoordelijk is om het web verkeer te verdelen over onze Self Service omgevingen. Deze component bestaat intern uit verschillende virtuele instances om een goede performance te garanderen. Het bleek dat een van die virtuele instances corrupt was geraakt, dit werd ook bevestigd door de Microsoft engineer. Deze engineer heeft de logfiles op dat moment zeker gesteld. Toen we de Application Gateway forceerde om nieuwe instances te gebruiken was het probleem opgelost. Daarna hebben we de Application Gateway terug gezet in de oorspronkelijk configuratie waardoor deze weer kan groeien tussen de 2 en 10 instances. Omdat het inmiddels na 21:00 uur was en er niet veel gebruikers meer op het systeem waren hebben we een aantal performance tests uitgevoerd om te controleren of het systeem ook stabiel blijft draaien als er meer gebruikers zouden zijn. Het probleem trad tijdens deze performance testen niet meer op. Vanaf vanmorgen zien we dat de Application Gateway stabiel is gebleven, maar dat de load heel hoog is waardoor het heel druk is op de omgeving. We hebben in de loop van de ochtend de capaciteit verhoogd waardoor de performance verbeterde. Uiteraard blijven we dit scherp monitoren.

27.10.2022 13.00 We zien dat de performance na de aanpassingen stabiel is gebleven. Hiermee wordt dit verstoringsbericht afgesloten. We begrijpen de frustraties en blijven continu aan verbeteringen werken.   27.10.2022 11:45 De CPU's waren overbelast. We hebben acties genomen om dit weer in orde te brengen en zien dat de performance weer stabiliseert.    27.10.2022 9:15  Op dit moment is er sprake van traagheid binnen Self Service wat kan resulteren in 500 errors. We zijn dit aan het onderzoeken en houden je op de hoogte van de voortgang.

Update 4 juli 2023 13:30 uur: We zien dat na het terugdraaien van een release de documenten weer op normale wijze worden gegenereerd. Op dit moment is nog niet duidelijk of de release ook het issue heeft veroorzaakt. De rootcause is dus nog in onderzoek.   4 juli 2023 11:00 uur: We zien op dit moment dat het genereren van documenten niet werkt. De ontwikkelaars hebben dit in onderzoek en we zullen het bericht updaten bij meer informatie.

7 april 2022 - 11.00 - De performance problemen zijn opgelost; zie ook de berichtgeving hierover op de community van het Youforce Portaal. We sluiten deze melding.   4 april 2022 - 11.40 - Momenteel zijn er performance problemen met Youforce en is ook het werken in de Verzuimmodule en in Self Service vertraagd. We zijn de problemen aan het onderzoeken en het lijkt erop dat het met name de gebruikers zonder certificaat betreft. Wij proberen de oorzaak  te achterhalen en zullen in het begin van de middag een update geven.   Zie ook onze berichtgeving hierover op de community van het Youforce Portaal: Afghandeld - Youforce Portaal - Performance problemen en  Afgehandeld - Foutmelding bij openen tegel Support – Your connection is not private

Update 19 april 2022 - 16:00 - Wij hebben achterhaald welke mutaties geraakt zijn. Alle klanten zijn op de hoogte gesteld via een request waarbij we de geraakte mutaties hebben aangeleverd via een Excel bestand. Als je geen request hebt ontvangen, dan zijn er geen mutaties geraakt.   Update 19 april 2022 - 08:30 - Op dit moment zijn we nog volop in onderzoek voor wat betreft de geraakte mutaties. Deze week zullen we je van een nieuwe update voorzien.   Update 14 april 2022 - 09:45 - De oplossing is woensdagavond in productie genomen. Het onderzoek naar de geraakte mutaties loopt nog. We houden je op de hoogte.   Update 13 april 2022 - 17:15 - Het probleem is gevonden. Wij zijn momenteel bezig met het maken van de oplossing. Wij verwachten deze over ongeveer 2 uur uit te brengen en zullen onderzoeken welke mutaties geraakt zijn. Zodra we meer informatie hebben brengen we je op de hoogte.    13 april 2022 - Sinds vrijdag 8 april doen zich problemen voor bij rubrieken met de weergave van Read Only velden en Hidden velden. In Read Only velden die ingevuld worden door een Javascript, wordt een weergave getoond waarbij de eerste letter een hoofdletter is, bijvoorbeeld 'Ja', 'Nee', 'Week' etc.   In het Javascript staan deze waardes echter met alleen kleine letters. Voor de verdere verwerking van de mutatie heeft dit geen gevolgen. In de database staan de waardes wel met kleine letters. Een dergelijk probleem doet zich ook voor bij Read Only en Hidden velden die een default waarde hebben.   Als in de definitie een waarde met alleen kleine letters staat, dan wordt er 'onder water' een waarde met een hoofdletter gebruikt. Als er van dit veld gebruikt wordt gemaakt door condities of door Javascripts met een 'als .. dan' bewerking, dan gaat er wel iets fout. Condities en Javascripts zijn namelijk hoofdletter-gevoelig. Gevolg is dat het vervolg van de mutatie niet goed gaat.   Bijvoorbeeld bij: - condities in de dialoog worden niet uitgevoerd. - conditie in de workflow. - conditie in de aanvullende e-mail. - IF-statements in je template. Wat kun je doen? We adviseren je om extra alert te zijn of mutaties de schermen weergeven die verwacht worden. Als dat niet het geval is, maak dan een request aan met het mutatienummer waarop de stap staat waar het fout gaat. Voeg dan ook het inrichtingsrapport toe zodat wij een goede analyse kunnen doen. Op dit moment zijn wij aan het onderzoeken wat hiervan de oorzaak is en hopen dit zo snel mogelijk op te lossen. We houden je op de hoogte.

18-04-2023 14:37 uur: De aanpassing is teruggedraaid en het is weer mogelijk om ".doc" bestanden te uploaden.   18-04-2023 12:00 uur: We zien dat met een beveiligingsupdate van afgelopen vrijdag, het niet meer mogelijk is om .doc bestanden bij te voegen als bijlagen. Andere bestandstypes (zoals .docx, .xlsx en .pdf) werken wel naar behoren. De aanpassing wordt op dit moment teruggedraaid. Dit kan wellicht enige vertraging in HR Self Service veroorzaken. Onze excuses voor het ongemak.

3-10-2023 16:45 uur: De performance is weer op peil en gestabiliseerd.    3-10-2023 16:30 uur: We zien op dit moment problemen met de service instances in de monitoring. Het kan zijn dat je hierdoor vertragingen en/of witte schermen ervaart.   We zijn al bezig om dit te stabiliseren en op normaal niveau te brengen.

5 juni 2023 1:15 Er is een fix uitgebracht die dit probleem heeft opgelost. Wij zien nu voor alle klanten dat de export weer loopt. Voor sommige klanten is er een wachtrij opgebouwd van nog niet verstuurde mutaties. Momenteel zijn wij bezig deze wachtrijen weg te werken.   5 juni 2023 11:20 Wij hebben de oorzaak gevonden en zijn bezig aanpassingen te doen. Wij verwachten dat dit de problemen snel zal oplossen, maar we hebben nog geen specifieke release tijd. Uiterlijk 14:00 zullen wij een update geven. Als er voor die tijd nieuws is zullen wij dit eerder plaatsen.   5 juni 2023 10:30 uur   We zien dat er vertragingen zijn in het aanmaken van de export bestanden. Wij zijn bezig te onderzoeken waarom deze vertraging speelt. Zodra hier meer informatie over is brengen wij u verder op de hoogte.

Update 21 september 2022 - 09:00 - We zien dat de acties die we gisteren hebben uitgevoerd, hebben geholpen en dat de performance van Self Service weer stabiel is. Hiermee sluiten we dit bericht.   Update 20 september 2022 - 17:00 - We hebben een aantal corrupte bestanden verwijderd en verwachten dat de performance in de loop van de avond verbetert. We nemen nog contact op met Microsoft Azure om de dieperliggende oorzaak te achterhalen. Morgen volgt er een nieuwe update.   20 september 2022 - 14:00 - Op dit moment is er sprake van een verstoring binnen Self Service waarbij verschillende foutmeldingen optreden waardoor de toegang is vertraagd  of geblokkeerd. We onderzoeken de oorzaak en houden je op de hoogte. 

Update 10-2-2023 8:00 uur: Het issue is verholpen. De oorzaak was een 'corrupt' document die de server tegenhield. Na een herstart was het probleem opgelost.   ---   We krijgen op dit moment een aantal meldingen waarin PDF bestanden niet worden geladen.    In eerste instantie blijft het ladings teken staan daarnaast is het mogelijk dat de sadface melding ontstaat.  Het issue is in onderzoek.

8-11-2023 09:30 Update  We hebben het probleem met e-mailvertraging opgelost. De email wordt weer op een normale manier verzonden.    3-11-2023 11.00 Update Op dit moment constateren we een aanzienlijke afname van de wachtrij, waardoor de reactietijden verkorten. De analyse om de exacte reden van deze vertraging af te ronden is nog niet afgerond. 2-11-2023 16:30 uur: Op dit moment zien we dat er vertraging is op de mail servers. Dit houdt in dat mails zoals gebruikers informeren/notificatie verzenden of een aanvullende email in sommige gevallen pas na 3 of 4 uur bij de gebruiker binnen komen. Er wordt op dit moment onderzocht wat de vertraging veroorzaakt.

Update 25 april 2022 - 17:00 uur - We zien dat de performance weer goed is en dat de 500-errors niet meer voorkomen.   Update 25 april 2022 - 10:15 uur - We hebben de oorzaak gevonden en zijn bezig met het voorbereiden van de oplossing. Om 11.00 uur zullen wij de oplossing in productie nemen wat kan betekenen dat Self Service tijdelijk niet te benaderen is (maximaal 30 minuten). Hierna zullen de performance problemen verholpen zijn.   25 april 2022 - Op dit moment is de performance binnen Self Service vertraagd. Ook ontstaan er 500-errors in verschillende workflows. We werken aan een oplossing en houden je op de hoogte.

Update 7 april 2022 - Het probleem wordt in de release van 7 april opgelost. Lees de release notes... Note: het probleem deed zich alleen voor in Self Service Beaufort.   5 april 2022 - Momenteel hebben we problemen met de zoekfunctie van de afdeling onder de tegel Beheer/Systeem/Afdelingen-Functies. Bij het aanmaken van een nieuwe koppeling tussen een afdeling en functie geeft de zoekfunctie voor de afdeling wel een lijst, maar na het selecteren van de afdeling verschijnt de melding:   'Functie wordt verkeerd aangeroepen, waarschuw uw applicatiebeheerder.'   Als workaround kan je wel het nummer van de afdeling intypen. We zijn momenteel bezig om de verstoring op te lossen. We houden je op de hoogte.

Update 16.00 uur: De rest van de dag is de performance stabiel gebleven. Ook hebben we veel positieve berichten vanuit klanten ontvangen. PD heeft een generieke oplossing doorgevoerd. De instance die problemen veroorzaakte is volledig vervangen.   Update 12.30 uur: De verstoring werd veroorzaakt door een instance met een te hoge respons tijd. Ook nadat deze instance herstart was bleven de problemen bestaan. PD heeft de capaciteit verhoogd en de instance weer herstart. We zien dat de performance issues hiermee verminderd zijn. Het kan zijn dat je even opnieuw moet inloggen voor je de verbetering merkt.   Wel blijft de instance die voor problemen zorgde nog bestaan. De herstart is een workaround. PD blijft daarom monitoren en werken aan een generieke oplossing.   Update 11.10 uur: Veel klanten melden last te hebben van traagheid en witte schermen die ook kunnen leiden tot 500 errors. We zijn op de hoogte en werken met alle hoogste prioriteit aan een oplossing. Zodra er meer bekend is zal dit bericht worden geupdate.

Update 11 april 2022 - 13:30 - Nadat wij de oplossing voor het probleem afgelopen vrijdagavond in productie hebben genomen, zijn er geen 500-error meldingen meer bij ons binnengekomen. Wij sluiten deze melding.   Update 8 april 2022 - 14:15 uur - Gisteren en vandaag vertoont Self Service soms een 500 error, dit vanwege een verbindingsprobleem met onze servers. Dit probleem heeft ook gevolgen voor documenten die in afwachting waren van de mutaties, die werden veroorzaakt door dezelfde verbindingsproblemen. Op dit moment werken we aan een oplossing die vandaag buiten kantooruren wordt geïmplementeerd. We zullen de nodige acties ondernemen om de documenten opnieuw in de wachtrij te plaatsen. Het probleem kan opnieuw optreden totdat we de oplossing implementeren en duurt elke keer ongeveer 30 minuten.   Update 7 april 2022 - 16:40 uur - Gedurende de storing is het mogelijk dat documenten vertraagd worden aangemaakt. De melding die de applicatie dan kan geven is: "het aanmaken van bijlage is nog bezig, de mutatie is geblokkeerd". Tevens kan het ook zijn dat je Self Service niet kunt benaderen ofwel inloggen. We houden je op de hoogte van de voortgang van dit storingsonderzoek.   7 april 2022 - 12:45 uur - Woensdagmiddag rond 17.00 uur en vandaag rond 11:50 uur is er een verstoring opgetreden binnen Self Service die ervoor zorgt dat als je de tegel Self Service opent, je een '500 error' melding te zien krijgt. Wat we zien is dat dit veelal van korte duur is. We zoeken naar de oorzaak en houden je op de hoogte.

1-9-2023 8.30 uur: De release is gister avond succesvol uitgerold. Er kunnen weer meer dan 50 tekens in het defaultwaarde vak worden geplaatst.   31-08-2023 15.00 uur: Vanavond zal er een release worden uitgevoerd om dit issue te verhelpen. Vanaf morgen ochtend kunnen er in de rubriek default waardes weer meer dan 50 tekens worden geplaatst.   22-08-2023 12.00 uur: Er wordt op dit moment gewerkt aan een oplossing. Verwachting is deze snel te kunnen op leveren.   6-7-2023 14 uur: Ter verduidelijking het gaat hier om een rubriek op een formulier. Deze vind je terug door het formulier te bewerken en boven aan te kiezen voor rubrieken toekennen.   We zien dat in een rubriek het default waarde vak wordt afgepakt op 50 tekens in plaats van den 240 teken. De ontwikkelaars werken aan een oplossing. We houden jullie op de hoogte. Ter verduidelijking het gaat om het volgende veld.  

21.07.2022 10:30 Alle modules zijn weer beschikbaar. Wij monitoren de performance de komende tijd nauwgezet. Ook Microsoft blijft het probleem onderzoeken en het is mogelijk dat hun systemen nog wat langer onstabiel blijven, waardoor er weer haperingen kunnen optreden op onze modules. 21.07.2022 10:00 Het incident met Microsoft Azure in West-Europa wordt opgelost. Wij zijn aan het testen om te controleren of Microsoft Azure weer volledig beschikbaar is. Als dit het geval is zullen de getroffen modules zo snel als mogelijk weer beschikbaar zijn. 21.07.2022 - 8:15 In verband met een (Europese) storing bij Microsoft Azure is Self Service op dit moment niet beschikbaar. Er wordt gewerkt aan een oplossing. Wij houden je op de hoogte van de voortgang. 

Update 11-07-2023 9:30 uur: We hebben de oorzaak achterhaald van de performance issues die plaats vonden op 10 juli.   Het is ontstaan doordat twee instances te veel requesten ontvingen en de capaciteit de werkzaamheden niet meer aankon. We hebben deze instances herstart en zagen dat de requesten netjes verdeeld werden over de overige instances die geen problemen hadden.   We zullen verder onderzoeken waardoor de instances deze hoeveelheid requesten ontvingen zodat we een vervolg kunnen voorkomen.   We zien dat ook de zaken die gister gemeld zijn zoals:   Digitale handtekening niet gezet. Mutatie niet naar de Batch voor digitale handtekening. Documenten niet gegenereerd. Documenten niet naar PDOl Emails niet verzonden Inmiddels wel goed verwerkt zijn. Deze zijn opgepakt door de overige instances waar de issues zich niet bevonden. Mocht je hier toch nog problemen van ondervinden dan ontvangen we dat graag via een aanvraag op het service center.   -- Er is een verstoring bij het afhandelen van de activiteiten binnen de mutaties. Er kan een interne systeem fout optreden. De gegevens blijven intact. We zien wel incidenteel, dat documenten niet naar Personeelsdossier  verstuurd worden en dat mutaties met digitale handtekening niet in de batch verschijnen.. Er wordt op dit moment met spoed aan een oplossing gewerkt. Mocht u dit probleem ook ervaren registreer dan een zo compleet  compleet mogelijk request We houden je op de hoogte