Verstoringen Youforce Self Service

Update 16-03-2023 13:00 uur: We hebben de performance goed gemonitord en zien dat deze stabiel zijn gebleven.   De performance issues zijn ontstaan door een service instance die geen juiste verdeling kon maken tussen de lopende processen. Hierdoor ontstond vertraging en werden niet alle processen volledig voltooid. Dit uiten zich in traagheid met als gevolg ook time out errors (500 melding).   PD blijft de performance monitoren en werkt ondertussen aan proces optimalisatie zodat de verdeling makkelijker door de service instance uit te voeren zijn en waar nodig een herstart sneller en beter in gang gezet kan worden.   Update 15-03-2023 13:00 uur: Self Service is weer stabiel en de performance is weer op peil.   We hebben de getroffen instance verwijderd en een nieuwe opgestart. Na 25 minuten (na opnieuw starten) is het gestabiliseerd.    Er zijn een aantal mogelijke oorzaken gevonden. Hier komen we later nog op terug in dit bericht.    Update 15-03-2023 11:45 uur: PD werkt hard aan een oplossing om de service instances terug te krijgen naar het 'normale' niveau.   Helaas hebben de uitgevoerde acties nog geen resultaat opgeleverd. Er zijn kleine periodes waarin de performance stabiel is maar we blijven pieken terug zien in de monitoring. Er wordt op dit moment gekeken hoe we de performance weer op peil kunnen krijgen.   - We zien in de monitoring dat er performance issues zijn en sprake is van traagheid. Op dit moment wordt het issue geanalyseerd. Excuus voor het ongemak.    Zodra er meer bekend is zal dit bericht worden geupdate.

Update 9-2-2023 9:30 uur: De fix is gister uitgerold en we zien dat de export weer op normaal niveau loopt.   Update 8-2-2023 15:30 uur:  PD heeft een fix klaar gezet die hoogst waarschijnlijk vandaag nog wordt uitgerold. Wanneer dit is afgerond zal dit bericht verder worden geüpdate.    Op dit moment hebben we een issue met export richting Beaufort.   Verwachting is dat dit te maken heeft met mutaties waarin VC-rubrieken (vacature rubrieken) worden gebruikt. Deze vallen uit waardoor de gehele export stil ligt. DEVOPS en PD zijn op de hoogte. Er wordt op dit moment gewerkt aan een oplossing. Tot die tijd zullen de getroffen mutaties worden overgeslagen en zal DEVOPS de overige mutaties handmatig triggeren om de export niet volledig stil te laten vallen.   Let op de mutatie zelf hoeft dus geen vacature mutatie te zijn, het gaat over alle mutatie soorten waarin deze rubrieken worden gebruikt.

De capaciteit is verhoogd waarmee de stabiliteit weer is hersteld.   Op dit moment wordt de capaciteit van de BO4 database binnen self service vergroot. Dit kan helaas tot gevolg hebben dat jullie op dit moment time out sessies kunnen ervaren.

Update 4:40 uur: DEVOPS heeft het issue gevonden en verholpen. De import is weer gaan lopen.   We zien dat op dit moment de import in Self Service stil ligt. Het DEVOPS team werkt hard aan een oplossing. Zodra er meer informatie bekend is wordt dit bericht geüpdate.

6-12-2022 13.45 uur:  De vertragingen zijn verholpen. De wachtrij is inmiddels weer bij en alle documenten worden op de normale snelheid gegenereerd.   6-12-2022 11.00 uur: We zien dat het genereren van documenten vertraagd is binnen Self Service. Op dit moment wordt onderzocht wat de oorzaak is. Zodra er meer informatie is zal dit bericht worden geupdate.

Update 16.00 uur: De rest van de dag is de performance stabiel gebleven. Ook hebben we veel positieve berichten vanuit klanten ontvangen. PD heeft een generieke oplossing doorgevoerd. De instance die problemen veroorzaakte is volledig vervangen.   Update 12.30 uur: De verstoring werd veroorzaakt door een instance met een te hoge respons tijd. Ook nadat deze instance herstart was bleven de problemen bestaan. PD heeft de capaciteit verhoogd en de instance weer herstart. We zien dat de performance issues hiermee verminderd zijn. Het kan zijn dat je even opnieuw moet inloggen voor je de verbetering merkt.   Wel blijft de instance die voor problemen zorgde nog bestaan. De herstart is een workaround. PD blijft daarom monitoren en werken aan een generieke oplossing.   Update 11.10 uur: Veel klanten melden last te hebben van traagheid en witte schermen die ook kunnen leiden tot 500 errors. We zijn op de hoogte en werken met alle hoogste prioriteit aan een oplossing. Zodra er meer bekend is zal dit bericht worden geupdate.

27.10.2022 13.00 We zien dat de performance na de aanpassingen stabiel is gebleven. Hiermee wordt dit verstoringsbericht afgesloten. We begrijpen de frustraties en blijven continu aan verbeteringen werken.   27.10.2022 11:45 De CPU's waren overbelast. We hebben acties genomen om dit weer in orde te brengen en zien dat de performance weer stabiliseert.    27.10.2022 9:15  Op dit moment is er sprake van traagheid binnen Self Service wat kan resulteren in 500 errors. We zijn dit aan het onderzoeken en houden je op de hoogte van de voortgang.

4 oktober 2022 - 16:00 - Wij hebben de performance verder gemonitord. Wij zien dat deze is verbeterd en dat de problemen van gisteren niet zijn teruggekomen. Door de aanpassingen die we hebben uitgevoerd,  is het probleem verholpen. Daarom sluiten we hiermee deze melding.   De problemen van gisteren stonden los van de problemen van vorige week. Over deze problemen zullen wij nog een analyse van de dieperliggende oorzaak geven. Een aantal klanten heeft aangegeven dat zij nog performance problemen hebben. Deze zijn niet gerelateerd aan de problemen van gisteren; wij gaan dit via de ingediende ITRP tickets verder onderzoeken.   3 oktober 2022 - 16:30 - De Firewall is aangepast en we zien dat deze hierdoor weer goed werkt. De storing in de firewall veroorzaakte ook problemen in systemen binnen HR Self Service. Deze systemen hebben we opnieuw opgestart en ze werken nu ook weer naar behoren. Hoewel meerdere klanten ons hebben laten weten dat het weer goed werkt, lijken er voor sommige klanten nog steeds vertragingen te zijn. Wij blijven de performance monitoren en zullen acties ondernemen waar nodig. We zijn aan het onderzoeken waarom het nog niet bij iedereen goed werkt. Morgenochtend volgt een nieuwe update.   3 oktober 2022 - 10:40 - Wij hebben zojuist een aantal aanpassingen gedaan, waardoor je geen foutmeldingen meer te zien krijgt. Er ging iets niet goed in de Firewall die wij gebruiken. Hierdoor werden veel aanvragen afgewezen en dat gaf foutmeldingen. Dit gebeurde voornamelijk in HR Self Service, maar ook andere modules werden hierdoor geraakt. Inmiddels hebben wij aanpassingen gedaan en zien dat de Firewall nu weer alle aanvragen kan behandelen. Als je nog steeds dergelijke meldingen krijgt, horen wij dat graag. Wij onderzoeken momenteel waardoor dit probleem is ontstaan. Als wij hier meer informatie over hebben, laten we dit weten via een update van dit bericht.   3 oktober 2022 - 09:40 - Momenteel komen er veel foutmeldingen in HR Self Service. Voornamelijk de 500-melding, de melding dat de webpagina problemen ondervindt en mogelijk is verplaatst naar een ander webadres. Wij zijn deze problemen aan het onderzoeken. Zodra er meer informatie is, plaatsen we een update. 

21-09-2022 12:45 De verstoring is opgelost. We sluiten deze melding. 21-09-2022 10:00 Op dit moment loopt een onderzoek naar de export vanuit Selfservice naar Beaufort. Bij een aantal klanten werkt deze koppeling niet. Wij houden je op de hoogte van de voortgang.

Update 21 september 2022 - 09:00 - We zien dat de acties die we gisteren hebben uitgevoerd, hebben geholpen en dat de performance van Self Service weer stabiel is. Hiermee sluiten we dit bericht.   Update 20 september 2022 - 17:00 - We hebben een aantal corrupte bestanden verwijderd en verwachten dat de performance in de loop van de avond verbetert. We nemen nog contact op met Microsoft Azure om de dieperliggende oorzaak te achterhalen. Morgen volgt er een nieuwe update.   20 september 2022 - 14:00 - Op dit moment is er sprake van een verstoring binnen Self Service waarbij verschillende foutmeldingen optreden waardoor de toegang is vertraagd  of geblokkeerd. We onderzoeken de oorzaak en houden je op de hoogte. 

14 september 08:45 - De verstoring is opgelost. Wij sluiten deze melding. 13 september 11:30 - Door verminderde performance in Self Service kan foutmelding 500 verschijnen. Op dit moment wordt hier onderzoek naar gedaan. Wij houden je op de hoogte van de voortgang.

13-09-2022 - Vanavond vindt een release plaats die dit issue moet oplossen. 09-09-2022 - In sommige gevallen wordt de  ToDo lijst niet bijgewerkt, wanneer deze wordt geopend door de gebruiker. Dit wordt veroorzaakt door een aanpassing die gisteren is uitgerold. Wij zijn bezig om het deel van de fix dat dit probleem veroorzaakt terug te draaien. Tot die tijd adviseren wij om de F5 toets te gebruiken om de pagina te vernieuwen zodat de bijgewerkte ToDo lijst wordt getoond.

12 augustus 08:00 Alle achterstand is verwerkt, daarom sluiten we deze melding. 11 augustus 11:15 Op dit moment is er vertraging bij de import van bestanden van Beaufort in HR Self Service. De import heeft even stil gestaan waardoor er veel bestanden in de wachtrij zijn gekomen. Wij verwachten dat de wachtrij morgenochtend helemaal weggewerkt is. Tot die tijd duurt het langer voordat de veranderingen in Beaufort door komen naar HR Self Service. Wij houden je op de hoogte van de voortgang.

Update 25 april 2022 - 17:00 uur - We zien dat de performance weer goed is en dat de 500-errors niet meer voorkomen.   Update 25 april 2022 - 10:15 uur - We hebben de oorzaak gevonden en zijn bezig met het voorbereiden van de oplossing. Om 11.00 uur zullen wij de oplossing in productie nemen wat kan betekenen dat Self Service tijdelijk niet te benaderen is (maximaal 30 minuten). Hierna zullen de performance problemen verholpen zijn.   25 april 2022 - Op dit moment is de performance binnen Self Service vertraagd. Ook ontstaan er 500-errors in verschillende workflows. We werken aan een oplossing en houden je op de hoogte.

Update 19 april 2022 - 16:00 - Wij hebben achterhaald welke mutaties geraakt zijn. Alle klanten zijn op de hoogte gesteld via een request waarbij we de geraakte mutaties hebben aangeleverd via een Excel bestand. Als je geen request hebt ontvangen, dan zijn er geen mutaties geraakt.   Update 19 april 2022 - 08:30 - Op dit moment zijn we nog volop in onderzoek voor wat betreft de geraakte mutaties. Deze week zullen we je van een nieuwe update voorzien.   Update 14 april 2022 - 09:45 - De oplossing is woensdagavond in productie genomen. Het onderzoek naar de geraakte mutaties loopt nog. We houden je op de hoogte.   Update 13 april 2022 - 17:15 - Het probleem is gevonden. Wij zijn momenteel bezig met het maken van de oplossing. Wij verwachten deze over ongeveer 2 uur uit te brengen en zullen onderzoeken welke mutaties geraakt zijn. Zodra we meer informatie hebben brengen we je op de hoogte.    13 april 2022 - Sinds vrijdag 8 april doen zich problemen voor bij rubrieken met de weergave van Read Only velden en Hidden velden. In Read Only velden die ingevuld worden door een Javascript, wordt een weergave getoond waarbij de eerste letter een hoofdletter is, bijvoorbeeld 'Ja', 'Nee', 'Week' etc.   In het Javascript staan deze waardes echter met alleen kleine letters. Voor de verdere verwerking van de mutatie heeft dit geen gevolgen. In de database staan de waardes wel met kleine letters. Een dergelijk probleem doet zich ook voor bij Read Only en Hidden velden die een default waarde hebben.   Als in de definitie een waarde met alleen kleine letters staat, dan wordt er 'onder water' een waarde met een hoofdletter gebruikt. Als er van dit veld gebruikt wordt gemaakt door condities of door Javascripts met een 'als .. dan' bewerking, dan gaat er wel iets fout. Condities en Javascripts zijn namelijk hoofdletter-gevoelig. Gevolg is dat het vervolg van de mutatie niet goed gaat.   Bijvoorbeeld bij: - condities in de dialoog worden niet uitgevoerd. - conditie in de workflow. - conditie in de aanvullende e-mail. - IF-statements in je template. Wat kun je doen? We adviseren je om extra alert te zijn of mutaties de schermen weergeven die verwacht worden. Als dat niet het geval is, maak dan een request aan met het mutatienummer waarop de stap staat waar het fout gaat. Voeg dan ook het inrichtingsrapport toe zodat wij een goede analyse kunnen doen. Op dit moment zijn wij aan het onderzoeken wat hiervan de oorzaak is en hopen dit zo snel mogelijk op te lossen. We houden je op de hoogte.

Update 11 april 2022 - 13:30 - Nadat wij de oplossing voor het probleem afgelopen vrijdagavond in productie hebben genomen, zijn er geen 500-error meldingen meer bij ons binnengekomen. Wij sluiten deze melding.   Update 8 april 2022 - 14:15 uur - Gisteren en vandaag vertoont Self Service soms een 500 error, dit vanwege een verbindingsprobleem met onze servers. Dit probleem heeft ook gevolgen voor documenten die in afwachting waren van de mutaties, die werden veroorzaakt door dezelfde verbindingsproblemen. Op dit moment werken we aan een oplossing die vandaag buiten kantooruren wordt geïmplementeerd. We zullen de nodige acties ondernemen om de documenten opnieuw in de wachtrij te plaatsen. Het probleem kan opnieuw optreden totdat we de oplossing implementeren en duurt elke keer ongeveer 30 minuten.   Update 7 april 2022 - 16:40 uur - Gedurende de storing is het mogelijk dat documenten vertraagd worden aangemaakt. De melding die de applicatie dan kan geven is: "het aanmaken van bijlage is nog bezig, de mutatie is geblokkeerd". Tevens kan het ook zijn dat je Self Service niet kunt benaderen ofwel inloggen. We houden je op de hoogte van de voortgang van dit storingsonderzoek.   7 april 2022 - 12:45 uur - Woensdagmiddag rond 17.00 uur en vandaag rond 11:50 uur is er een verstoring opgetreden binnen Self Service die ervoor zorgt dat als je de tegel Self Service opent, je een '500 error' melding te zien krijgt. Wat we zien is dat dit veelal van korte duur is. We zoeken naar de oorzaak en houden je op de hoogte.

Update 22 april 2022 - Het probleem is inmiddels opgelost. Wij sluiten deze melding.   Update 7 april 2022 - We zijn momenteel bezig om dit probleem met een tussentijdse release op te lossen. We verwachten dit begin volgende week uit te brengen.   5 april 2022 - We ontvangen meldingen waarin wordt aangegeven dat emails twee keer worden verstuurd naar de gebruiker. We werken momenteel hard aan een oplossing.   Als je dit probleem ondervindt, kun je een verzoek (request) indienen, waarin de stappen worden beschreven om het te reproduceren, zodat we het in ons onderzoek kunnen meenemen.  

7 april 2022 - 11.00 - De performance problemen zijn opgelost; zie ook de berichtgeving hierover op de community van het Youforce Portaal. We sluiten deze melding.   4 april 2022 - 11.40 - Momenteel zijn er performance problemen met Youforce en is ook het werken in de Verzuimmodule en in Self Service vertraagd. We zijn de problemen aan het onderzoeken en het lijkt erop dat het met name de gebruikers zonder certificaat betreft. Wij proberen de oorzaak  te achterhalen en zullen in het begin van de middag een update geven.   Zie ook onze berichtgeving hierover op de community van het Youforce Portaal: Afghandeld - Youforce Portaal - Performance problemen en  Afgehandeld - Foutmelding bij openen tegel Support – Your connection is not private

Update 6 april 2022 - De problemen met het aanmaken van een nieuwe dialoog zijn opgelost met de release van 4 april. We sluiten deze melding.   22 maart 2022 - 17.00 - Momenteel hebben wij problemen met het aanmaken van een nieuwe dialoog. Bij het selecteren van het eerste formulier voor de dialoog werkt het filter menu niet correct en is het niet mogelijk om op deze manier het eerste formulier te selecteren. Workaround Als workaround kan je wel de naam van het formulier intypen. Wij werken er hard aan om dit probleem zo snel mogelijk op te lossen en houden je op de hoogte. 

Update 7 maart 2022 - We zien dat de afstandsberekening weer naar behoren werkt. We sluiten deze melding.   Update 10:00 uur: We hebben inmiddels een oplossing in productie genomen. Het onregelmatig werken van de afstandsberekening kan nog even aanhouden totdat de service in zijn geheel ververst/hersteld is.   4 maart 2022 - Er is momenteel een probleem met de berekening van afstanden in Self Service. Deze service werkt onregelmatig, waardoor sommige door de gebruikers gevraagde berekeningen niet worden verwerkt. We werken met spoed aan een oplossing en houden je op de hoogte.