Held IT - Incident met GitHub.com – Incidentdetails

Op 17 augustus 2026, van 13:28–21:15 UTC (7u 47m), ondervond GitHub.com verhoogde foutpercentages en latentie bij Issues, Pull Requests, API's, Actions en Copilot. Op het hoogtepunt lagen de web-/API-foutpercentages rond de 20%, terwijl downloads van archieven en ruwe content ongeveer 50% bereikten. SAML/OIDC-authenticatie, SCIM en Team Sync werden ook getroffen, evenals Actions-workflows in GHEC met Data Residency die afhankelijk zijn van publieke workflow-stapdefinities die worden gehost op GitHub.com. De meeste diensten herstelden zich om 16:36 UTC toen ons datacenter in Central US herstelde; Actions was verslechterd tot ongeveer 18:03 UTC; en Copilot Token Service was volledig hersteld om 21:02.

Een deel van het falende verkeer werd verplaatst van Central US naar Northern Virginia, waar het succesvol werd afgehandeld totdat de netwerkstoring in Central US was opgespoord en opgelost. Vertraagde reacties op een enkel intern eindpunt triggerden een sluimerende retry-bug in VS Code die het verkeer ongeveer 10x vergrootte en vertraagd herstel veroorzaakte voor de Copilot Token Service.

De directe oorzaak van de storing was netwerkverzadiging op load balancers in Central US als gevolg van een nieuwe piek in verkeer. Oorspronkelijk werd dit veroorzaakt door een Istio sidecar-pod die zijn concurrency-limieten bereikte en niet correct automatisch kon opschalen vanwege een verkeerd geconfigureerd beleid dat wel de host-service maar niet de sidecar-limieten controleerde. Eén storing escaleerde naar meerdere, en uiteindelijk bereikten vier HAProxy-nodes hun flow-limieten, waardoor het gateway-authenticatiepad verslechterde en wijdverspreide authenticatielatentie en -fouten ontstonden. Het probleem werd verergerd door optimistische retry-logica die interne load balancers overbelastte. Het gelijktijdig pauzeren van HAProxy op die nodes zorgde voor onmiddellijk breed herstel.

De retry-storm in Northern VA werd opgelost door 1) tijdelijk de gateway retry-logica te verminderen met een PR en 2) inkomende Copilot Token Service token-verzoeken bij de load balancers te blokkeren met een 403, en vervolgens het verkeer per site geleidelijk weer op te schalen zodat aanroepers konden slagen.

Resterende Copilot-authenticatiefouten bleven aanhouden omdat clientretrygedrag de belasting versterkte: een mislukte token-operatie kon veel extra verzoeken genereren en in een retry-lus terechtkomen. Het verkeer van de Copilot Token Service steeg van een normale 7–9K RPS naar 70–100K RPS. Het verminderen van gateway-authenticatie-retries en het blokkeren van reacties die retries veroorzaakten, stabiliseerde de Copilot Token Service en voltooide het herstel.

Verzwarende factoren die het herstel belemmerden, waren onder meer een aantal scraping-aanvallen op codeload-eindpunten.

Om herhaling te voorkomen, omvatten onze vervolgacties:

- Het corrigeren van autoscaling-beleid om rekening te houden met de concurrency en capaciteit van service-mesh sidecars.

- Het auditen van Istio-request-, concurrency- en schaallimieten bij de getroffen diensten.

- Het herzien van retry-limieten en backoff-gedrag bij gateways en clients.

- Het aanpakken van het VS Code retry-gedrag dat het Copilot-tokenverkeer versterkte.

- Het verbeteren van capaciteitsmonitoring voor load balancers en regionale failover-waarborgen.

We blijven maatregelen toepassen om sporadische Copilot-authenticatiefouten in sommige applicaties aan te pakken. We verwachten binnen de komende 30 minuten volledig herstel. Copilot-gebruik via de GitHub CLI en GitHub App wordt hier niet door beïnvloed.

Problemen functioneert normaal.

We blijven de sporadische storingen onderzoeken die van invloed zijn op Copilot-authenticatie in sommige applicaties. Copilot-gebruik via de GitHub CLI en GitHub App wordt niet beïnvloed.

We blijven de sporadische authenticatiefouten onderzoeken. We hebben het opnieuw proberen van authenticatietokens gedeeltelijk uitgeschakeld en zien verbetering. We monitoren de impact voordat we deze maatregel volledig toepassen.

API Requests werkt normaal.

API Requests ondervindt verminderde beschikbaarheid. We blijven dit onderzoeken.

De verstoring die Git Operations beïnvloedde, is verholpen. We monitoren om de stabiliteit te waarborgen.

We hebben de probleemveroorzakende component geïdentificeerd en hebben corrigerende maatregelen genomen, maar we zien nog restimpact in de vorm van sporadische authenticatiefouten. We blijven aanvullende maatregelen toepassen en onderzoeken de resterende impact.

Issues ondervindt verminderde prestaties. We blijven dit onderzoeken.

We hebben het probleemcomponent geïdentificeerd en corrigerende maatregelen genomen, maar we zien nog restimpact bij diverse services. We blijven aanvullende mitigaties toepassen en onderzoeken de resterende impact.

Git Operations ondervindt verminderde prestaties. We blijven dit onderzoeken.

De verminderde prestaties die API Requests, Actions, Git Operations, Issues, Pages, Pull Requests en Webhooks beïnvloedden, zijn verholpen. We monitoren de situatie om stabiliteit te waarborgen.

We hebben de probleemveroorzakende component geïdentificeerd en hebben corrigerende maatregelen genomen. Er zijn sterke tekenen van herstel, maar we werken nog steeds aan het volledig herstellen van de dienst, aangezien de foutpercentages nog iets verhoogd blijven. We zullen verdere updates plaatsen naarmate het herstel vordert.

We ondervinden hoge foutpercentages van rond de 20% voor webervaringen en API-verkeer. Archiefdownloads en downloads van ruwe repository-inhoud hebben een foutpercentage van ongeveer 50%. SAML- en OIDC-authenticatie, SCIM en Team Sync zijn ook getroffen. We werken nog steeds aan het identificeren van de hoofdoorzaak en zullen updates blijven plaatsen naarmate we meer te weten komen en herstelmaatregelen uitvoeren.

We ondervinden hoge foutpercentages van ongeveer 20% voor webervaringen en api-verkeer. Archiefdownloads en downloads van ruwe repository-inhoud ondervinden een foutpercentage van ongeveer 50%. SAML- en OIDC-authenticatie, SCIM en Team Sync zijn ook getroffen. We voeren momenteel maatregelen uit en zullen updates plaatsen naarmate we vorderen.

Webhooks ondervindt verminderde prestaties. We blijven dit onderzoeken.

Git Operations ondervindt verminderde prestaties. We blijven dit onderzoeken.

Pages ondervindt verminderde prestaties. We blijven dit onderzoeken.

API-verzoeken ondervinden verminderde beschikbaarheid. We blijven dit onderzoeken.

Webhooks ondervindt verminderde prestaties. We blijven dit onderzoeken.

We ondervinden hoge foutpercentages van rond de 20% voor webervaringen en API-verkeer. Archiefdownloads en downloads van ruwe repository-inhoud hebben een foutpercentage van ongeveer 50%. SAML- en OIDC-authenticatie, SCIM en Team Sync zijn ook getroffen. We voeren momenteel maatregelen uit op basis van ons onderzoek tot nu toe en monitoren de situatie op verbetering.

Actions ondervindt verminderde beschikbaarheid. We blijven dit onderzoeken.

Pull Requests ondervindt verminderde prestaties. We blijven dit onderzoeken.

Issues ondervindt verminderde beschikbaarheid. We blijven dit onderzoeken.

Pull Requests ondervindt verminderde beschikbaarheid. We blijven dit onderzoeken.

Copilot ondervindt verminderde beschikbaarheid. We blijven dit onderzoeken.

We ondervinden hoge foutpercentages van rond de 20% voor webervaringen en API-verkeer. Archiefdownloads en downloads van ruwe repository-inhoud hebben een foutpercentage van ongeveer 50%. SAML- en OIDC-authenticatie, SCIM en Team Sync zijn ook getroffen. Het onderzoek is gaande en we blijven updates geven zodra we meer informatie ontdekken.

We ondervinden hoge foutpercentages van ongeveer 20% voor webervaringen en api-verkeer. Archiefdownloads en downloads van ruwe repository-inhoud ondervinden een foutpercentage van ongeveer 50%. Het onderzoek naar de hoofdoorzaak is gaande en er zullen updates blijven volgen terwijl we dit onderzoeken.

Pull Requests ondervindt verminderde prestaties. We blijven dit onderzoeken.

Issues ondervindt verminderde prestaties. We blijven dit onderzoeken.

We zien een foutpercentage van ongeveer 20% bij diverse functies, waaronder Pull Requests, Issues en andere. We zijn op dit moment aan het onderzoeken en zullen updates plaatsen zodra deze beschikbaar zijn

Webhooks ondervindt verminderde prestaties. We blijven dit onderzoeken.

Actions ondervindt verminderde prestaties. We blijven dit onderzoeken.

API Requests ondervindt verminderde prestaties. We blijven dit onderzoeken.