Incident met Git-bewerkingen, Pull Requests en Actions
Getroffen
Grote storing van 3:14 PM naar 3:21 PM, Verminderde prestaties van 3:21 PM naar 3:49 PM, Operationeel van 4:25 PM naar 4:25 PM
Grote storing van 3:14 PM naar 3:21 PM, Verminderde prestaties van 3:21 PM naar 3:49 PM, Operationeel van 4:25 PM naar 4:25 PM
- Opgelost · UTC
Op 7 oktober 2026 had GitHub twee storingen van schrijfbewerkingen met dezelfde oorzaak, in totaal ongeveer 19 minuten. De eerste duurde van 15:06 tot 15:16 UTC (ongeveer 10 minuten) en de tweede van 16:52 tot 17:01 UTC (ongeveer 9 minuten). In beide periodes mislukten acties die gegevens opslaan of wijzigen bij Git-bewerkingen, pull requests, issues, GitHub Actions, de API, webhooks, inloggen en authenticatie, GitHub Apps en OAuth, code scanning, Codespaces en Copilot. Het lezen van gegevens werd grotendeels niet beïnvloed.
Tijdens de eerste storing mislukte 5,6% van alle web- en API-verzoeken, met een piek van 8,9%, en meer dan 12.000 organisaties kregen te maken met mislukte verzoeken. Tot 26% van de Git-authenticatieverzoeken mislukte, en 17% van de Actions-workflowruns mislukte met infrastructuurfouten. Tijdens de tweede storing mislukte 6,2% van de web- en API-verzoeken, met een piek van 9,3%, en meer dan 11.000 organisaties werden getroffen. Tot 25% van de Git-authenticatieverzoeken mislukte, en 19% van de Actions-workflowruns mislukte. Er trad geen gegevensverlies op in databases, en bewerkingen die na herstel opnieuw werden geprobeerd, slaagden.
GitHub vertrouwt op een interne service die bijhoudt welke databaseservers nieuwe en bijgewerkte gegevens moeten ontvangen. Tijdens het vervangen van machines die deze service draaien als onderdeel van regulier onderhoud, startte een van de nieuwe machines met een verouderde kopie van zijn gegevens, waarin nog databaseservers stonden die we al hadden uitgefaseerd. Toen deze node online kwam, wijzigde deze ten onrechte de routeringsconfiguratie met de verouderde gegevens, waardoor schrijfverzoeken werden doorgestuurd naar niet-bestaande databaseservers.
Elke storing eindigde toen een van onze gevestigde machines met de juiste configuratie de leider van het quorum werd en de juiste configuratie verzond. Na de eerste storing identificeerden we de nieuwe machine als de bron en pauzeerden we het geautomatiseerde onderhoud om te voorkomen dat deze opnieuw leider zou worden. Om 16:52 UTC bracht een geautomatiseerde onderhoudstaak die de pauze niet respecteerde, de machine weer aan de macht, en de storing deed zich opnieuw voor. We hebben die machine om 17:02 UTC uitgeschakeld en sindsdien verwijderd, en de automatisering respecteert de pauze nu, wat een nieuwe regressie bleek te zijn als gevolg van een update van onze puppet-infrastructuur.
Om herhaling te voorkomen, verwijderen we uitgefaseerde databaseservers uit de gegevens van de service voordat er een nieuwe machine wordt toegevoegd, en zorgen we ervoor dat nieuwe machines niet tot leider kunnen worden gekozen totdat hun gegevens zijn gecontroleerd. We passen onze systemen ook aan om configuraties te weigeren die verwijzen naar servers die niet bestaan, en in plaats daarvan de laatst bekende goede instellingen te blijven gebruiken. Ten slotte geven we responders een snellere manier om een slecht functionerende machine buiten gebruik te stellen, en voegen we waarschuwingen toe zodat wijzigingen zoals deze binnen enkele seconden worden opgemerkt.
We zullen een uitgebreidere beschrijving van deze incidenten delen in ons maandelijkse beschikbaarheidsrapport, samen met de status van de reparaties die we uitvoeren om dit soort problemen in de toekomst te voorkomen.
- Update · UTC
Git Operations, Pull Requests en Actions zijn volledig hersteld en stabiel. De hoofdoorzaak is geïdentificeerd en er worden maatregelen genomen om herhaling te voorkomen.
- Update · UTC
We zien volledig herstel op alle systemen, waaronder Git-bewerkingen, Pull Requests en Actions. We blijven de hoofdoorzaak van de verstoring tussen 15:06 UTC en 15:16 UTC onderzoeken en zullen binnenkort een nieuwe update delen.
- Update · UTC
De verminderde prestaties zijn verholpen. We houden de situatie in de gaten om de stabiliteit te waarborgen.
- Monitoring · UTC
De verminderde prestaties zijn verholpen. We monitoren om de stabiliteit te waarborgen.
- Update · UTC
De verslechtering die Git Operations en Webhooks trof, is verholpen. We monitoren de situatie om de stabiliteit te waarborgen.
- Update · UTC
De verminderde prestaties die invloed hadden op Issues zijn verholpen. We monitoren om de stabiliteit te waarborgen.
- Update · UTC
We zien een gedeeltelijk herstel van alle systemen. We blijven de hoofdoorzaak van de storing monitoren en onderzoeken.
- Update · UTC
Git Operations ondervindt verminderde prestaties. We blijven dit onderzoeken.
- Update · UTC
Actions werkt normaal.
- Update · UTC
De verminderde prestaties met betrekking tot Pull Requests zijn verholpen. We houden de situatie in de gaten om de stabiliteit te waarborgen.
- Update · UTC
Webhooks ondervindt verminderde prestaties. We blijven dit onderzoeken.
- Update · UTC
Git Operations werkt normaal.
- Update · UTC
Pull Requests ondervindt verminderde prestaties. We blijven dit onderzoeken.
- Update · UTC
We hebben tussen 15:06 UTC en 15:16 UTC wijdverspreide impact op GitHub-services waargenomen en onderzoeken de onderliggende oorzaak. We zien dat alle systemen herstellen en zullen binnenkort een nieuwe update geven.
- Update · UTC
Git Operations ondervindt verminderde prestaties. We blijven dit onderzoeken.
- Update · UTC
Webhooks ondervindt verminderde beschikbaarheid. We blijven dit onderzoeken.
- Update · UTC
Issues ondervindt verminderde prestaties. We blijven dit onderzoeken.
- Update · UTC
Webhooks ondervindt verminderde prestaties. We blijven dit onderzoeken.
- Onderzoeken · UTC
We onderzoeken meldingen van verminderde beschikbaarheid voor Actions, Git Operations en Pull Requests
