Terugblik storing 8 augustus
Vanmorgen was Picqer 35 minuten lang onbereikbaar door een storing. In deze terugblik (ook wel postmortem genoemd) vertellen we je wat er is gebeurd.
Korte versie
Vanochtend 8 augustus 2017 is de database van Picqer beschadigd geraakt. Daardoor werd Picqer om 8.27 uur onbereikbaar.
Om 9.00 uur was Picqer weer volledig bereikbaar.
Daarbij is data die tussen 8.26 uur en 8.27 uur is toegevoegd of aangepast helaas verloren gegaan. Volgens onze logs was het toen nog rustig en werden er vrijwel geen wijzigingen gemaakt. Maar het is mogelijk dat wijzigingen die je op dat moment hebt gemaakt verloren zijn gegaan.
Update 14:28: We hebben inmiddels alle data hersteld. De 10 klanten waarvan gegevens verloren waren zijn persoonlijk op de hoogte gesteld.
Bestellingen die tijdens de storing geplaatst zijn, zijn na de storing automatisch in Picqer geïmporteerd. Je zal dus geen bestellingen missen.
Onze excuses voor de onbereikbaarheid. Wij zullen er alles aan doen om dit in de toekomst te voorkomen.
Van minuut tot minuut
| 8.27 | Door een actie die door ons per ongeluk op de productie-omgeving wordt uitgevoerd in plaats van op de test-omgeving, raakt de database van Picqer zo beschadigd dat Picqer onbereikbaar wordt. |
| 8.31 | Werkzaamheden starten om een nieuwe database-server op te zetten. Daarbij wordt besloten om de database te gebruiken van tijdstip 8.26 uur, wat maximaal 1 minuut dataverlies met zich meebrengt maar waarvan we zeker weten dat de data volledig is en zonder beschadigingen. |
| 8.35 | Op de statuspagina wordt de storing vermeld. Ook schakelen we de telefooncentrale in zodat we bereikbaar zijn voor klanten. Normaal zijn we vanaf 9.00 uur telefonisch bereikbaar. |
| 8.56 | Het opzetten van de database-server en het terugzetten van de backup is klaar. Er worden enkele tests uitgevoerd om te controleren dat de data klopt en alles klaar is om klanten weer toegang te geven. |
| 9.00 | Picqer is weer bereikbaar voor klanten. Pagina's laden op dat moment gemiddeld 10x langzamer dan normaal, omdat de database nog bezig is om zichzelf te optimaliseren. |
| 9.03 | De 2e database-server in een ander datacenter (voor redundantie) is ook weer opgebouwd en in gebruik. |
| 9.05 | Automatische backups van de nieuwe database zijn geactiveerd en de eerste backup is afgerond. |
| 9.09 | Picqer start weer met het uitvoeren van taken in de achtergrond, zoals communicatie met webshops. |
| 9.10 | We starten met het terugbellen van iedereen die ons sinds 8.30 uur heeft gebeld om te informeren over de status. |
| 9.28 | De snelheid van Picqer voelt weer 'normaal', we zien gemiddelde reactietijden van 1,5 tot 2 maal van de norm. Dit zal later in de dag steeds sneller worden. |
Waarom dataverlies?
Omdat we niet met zekerheid kunnen zeggen op welk exacte moment data in Picqer beschadigd is geraakt, hebben we een moment gekozen waarvan we absoluut zeker wisten dat de data volledig is. Dat moment is 8.26 uur. Picqer werd op 8.27 uur onbereikbaar voor klanten, dus data die tussen 8.26 en 8.27 in Picqer is gewijzigd is in eerste instantie verloren gegaan. Hierdoor konden we zo snel mogelijk een zekere versie van Picqer online krijgen.
Wij vinden het erg vervelend dat we data hebben verloren. Gelukkig was het op dat moment nog rustig in Picqer en werden er op dat moment weinig wijzigingen gemaakt.
We zijn nog bezig om te kijken of we kunnen achterhalen wat er tussen 8.26 en 8.27 aan data in Picqer is gewijzigd en of we die data alsnog in Picqer kunnen krijgen.
Update 14:28: Inmiddels hebben we alle data kunnen herstellen die verloren was gegaan. Sommige klanten hadden zelf de wijzigingen al opnieuw doorgevoerd, voor anderen hebben wij dat alsnog kunnen doen. Alle klanten die hierdoor getroffen zijn, zijn inmiddels persoonlijk op de hoogte gesteld. Het ging om 12 bestellingen en 11 picklijsten van 10 verschillende gebruikers.
Voorkomen in de toekomst
Uiteraard zullen we hieruit onze lessen trekken en onze procedures aanpassen op deze nieuwe 'ervaring'. Wij beloven dat we er alles aan zullen doen om een soortgelijke situatie in de toekomst te voorkomen.
Onze excuses voor het ongemak dat jullie hierdoor hebben gehad.
Mochten jullie vragen hebben over deze storing, dan kan je ons altijd bereiken op support@picqer.com.
‐ Casper en Stephan
