Opsummering

Imellem kl 20:55 og 23:06 d. 22/2-20 var store dele, eller hele Dinero, utilgængelig for alle brugere. Disse brugere der forsøgte at tilgå applikationen blev mødt med en fejlside efter login. Problemet blev identificeret til at være en adresse (DNS) ændring hos en hosting udbyder. Denne DNS har været i brug i flere år, og ikke blevet ændret siden første opsætning. Ingen gemte data gik tabt under nedbrudet.

Identificerede fremtidige forbedringer
Der implementeres endnu mere præcise alert triggers der skal hjælpe til endnu hurtigere eskalering, og notificering af brugere såvel som Dinero support.
Dinero benytter udelukkende DNS, og ikke IP adresser, for at undgå denne type af nedbrud. Vi er derfor i dialog med Azure teamet for at få opklaret hvordan dette er sket uden at vi er blevet informeret.

Tidslinje
20:55 Services mister forbindelsen til databasen
20:57 Udviklerteamet bliver alarmeret og der undersøger omfang og starter fejlsøgning
20:59 Dinero Support får henvendelser fra brugerne og slår alarm til udviklerne
22:27 Problemet bliver identificeret til at være at domænenavnet på vores databaseserver ikke længere er gyldigt efter en intern omrokering af ressourcer i datacentret. Navnet bliver opdateret i alle services og alle services bliver deployet på ny i prioriteret rækkefølge.
23:06 Alle services er nu oppe at køre igen og applikationen kører normalt.