Held IT - Meldingsgeschiedenis

Dit incident is opgelost. Hartelijk dank voor uw geduld en begrip terwijl wij dit probleem oplosten. Zodra beschikbaar, wordt een gedetailleerde analyse van de hoofdoorzaak gedeeld.

Git Operations, Pull Requests en Actions zijn volledig hersteld en stabiel. De hoofdoorzaak is geïdentificeerd en er worden maatregelen genomen om herhaling te voorkomen.

We zien volledig herstel op alle systemen, waaronder Git-bewerkingen, Pull Requests en Actions. We blijven de hoofdoorzaak van de verstoring tussen 15:06 UTC en 15:16 UTC onderzoeken en zullen binnenkort een nieuwe update delen.

De verminderde prestaties zijn verholpen. We houden de situatie in de gaten om de stabiliteit te waarborgen.

De verminderde prestaties zijn verholpen. We monitoren om de stabiliteit te waarborgen.

De verslechtering die Git Operations en Webhooks trof, is verholpen. We monitoren de situatie om de stabiliteit te waarborgen.

De verminderde prestaties die invloed hadden op Issues zijn verholpen. We monitoren om de stabiliteit te waarborgen.

We zien een gedeeltelijk herstel van alle systemen. We blijven de hoofdoorzaak van de storing monitoren en onderzoeken.

Git Operations ondervindt verminderde prestaties. We blijven dit onderzoeken.

Actions werkt normaal.

De verminderde prestaties met betrekking tot Pull Requests zijn verholpen. We houden de situatie in de gaten om de stabiliteit te waarborgen.

Webhooks ondervindt verminderde prestaties. We blijven dit onderzoeken.

Git Operations werkt normaal.

Pull Requests ondervindt verminderde prestaties. We blijven dit onderzoeken.

We hebben tussen 15:06 UTC en 15:16 UTC wijdverspreide impact op GitHub-services waargenomen en onderzoeken de onderliggende oorzaak. We zien dat alle systemen herstellen en zullen binnenkort een nieuwe update geven.

Git Operations ondervindt verminderde prestaties. We blijven dit onderzoeken.

Webhooks ondervindt verminderde beschikbaarheid. We blijven dit onderzoeken.

Issues ondervindt verminderde prestaties. We blijven dit onderzoeken.

Webhooks ondervindt verminderde prestaties. We blijven dit onderzoeken.

Dit incident is opgelost.

Dit incident is opgelost en .shop-domeinen zouden weer normaal moeten functioneren.

Dit probleem houdt verband met een storing bij het .shop-domeinregister, die .shop-domeinen bij alle providers treft. Getroffen domeinen beginnen weer te laden en we monitoren dit totdat de service volledig is hersteld.

Dit incident is opgelost.

Er is een oplossing geïmplementeerd en we monitoren de resultaten.

We hebben het probleem dat het aanmaken van projecten beïnvloedt geïdentificeerd en implementeren een oplossing. Gebruikers kunnen vertragingen ervaren bij het aanmaken van nieuwe projecten terwijl we dit oplossen.

Dit incident is opgelost.

We hebben een probleem geïdentificeerd waardoor implementaties vast kwamen te zitten in een geïnitialiseerde status, hebben een oplossing toegepast en zien tekenen van herstel voor nieuwe implementaties. We blijven dit monitoren.

Het probleem dat verhoogde fouten bij deployments veroorzaakte, is opgelost.

Bestaande deployments en verkeer zijn niet beïnvloed en er is geen actie vereist.

Er is een oplossing geïmplementeerd en we monitoren de resultaten.

Het probleem is geïdentificeerd en er wordt een oplossing geïmplementeerd.

We blijven een probleem onderzoeken dat verhoogde foutmeldingen veroorzaakt bij het triggeren van deployments. We zullen aanvullende updates geven zodra deze beschikbaar zijn.

Dit incident is opgelost.

Er is een oplossing geïmplementeerd en we monitoren de resultaten.

Het probleem is geïdentificeerd en er wordt een oplossing geïmplementeerd.

Het probleem met het automatisch aanpassen van de schijfgrootte is opgelost.
We blijven rechtstreeks contact houden met getroffen gebruikers die een supportticket hebben geopend.

Er is een oplossing toegepast en het probleem is nu opgelost. We zetten het incident op monitoring.
We blijven rechtstreeks contact houden met getroffen gebruikers die een supportticket hebben geopend.

Op 17 augustus 2026, van 13:28–21:15 UTC (7u 47m), ondervond GitHub.com verhoogde foutpercentages en latentie bij Issues, Pull Requests, API's, Actions en Copilot. Op het hoogtepunt lagen de web-/API-foutpercentages rond de 20%, terwijl downloads van archieven en ruwe content ongeveer 50% bereikten. SAML/OIDC-authenticatie, SCIM en Team Sync werden ook getroffen, evenals Actions-workflows in GHEC met Data Residency die afhankelijk zijn van publieke workflow-stapdefinities die worden gehost op GitHub.com. De meeste diensten herstelden zich om 16:36 UTC toen ons datacenter in Central US herstelde; Actions was verslechterd tot ongeveer 18:03 UTC; en Copilot Token Service was volledig hersteld om 21:02.

Een deel van het falende verkeer werd verplaatst van Central US naar Northern Virginia, waar het succesvol werd afgehandeld totdat de netwerkstoring in Central US was opgespoord en opgelost. Vertraagde reacties op een enkel intern eindpunt triggerden een sluimerende retry-bug in VS Code die het verkeer ongeveer 10x vergrootte en vertraagd herstel veroorzaakte voor de Copilot Token Service.

De directe oorzaak van de storing was netwerkverzadiging op load balancers in Central US als gevolg van een nieuwe piek in verkeer. Oorspronkelijk werd dit veroorzaakt door een Istio sidecar-pod die zijn concurrency-limieten bereikte en niet correct automatisch kon opschalen vanwege een verkeerd geconfigureerd beleid dat wel de host-service maar niet de sidecar-limieten controleerde. Eén storing escaleerde naar meerdere, en uiteindelijk bereikten vier HAProxy-nodes hun flow-limieten, waardoor het gateway-authenticatiepad verslechterde en wijdverspreide authenticatielatentie en -fouten ontstonden. Het probleem werd verergerd door optimistische retry-logica die interne load balancers overbelastte. Het gelijktijdig pauzeren van HAProxy op die nodes zorgde voor onmiddellijk breed herstel.

De retry-storm in Northern VA werd opgelost door 1) tijdelijk de gateway retry-logica te verminderen met een PR en 2) inkomende Copilot Token Service token-verzoeken bij de load balancers te blokkeren met een 403, en vervolgens het verkeer per site geleidelijk weer op te schalen zodat aanroepers konden slagen.

Resterende Copilot-authenticatiefouten bleven aanhouden omdat clientretrygedrag de belasting versterkte: een mislukte token-operatie kon veel extra verzoeken genereren en in een retry-lus terechtkomen. Het verkeer van de Copilot Token Service steeg van een normale 7–9K RPS naar 70–100K RPS. Het verminderen van gateway-authenticatie-retries en het blokkeren van reacties die retries veroorzaakten, stabiliseerde de Copilot Token Service en voltooide het herstel.

Verzwarende factoren die het herstel belemmerden, waren onder meer een aantal scraping-aanvallen op codeload-eindpunten.

Om herhaling te voorkomen, omvatten onze vervolgacties:

- Het corrigeren van autoscaling-beleid om rekening te houden met de concurrency en capaciteit van service-mesh sidecars.

- Het auditen van Istio-request-, concurrency- en schaallimieten bij de getroffen diensten.

- Het herzien van retry-limieten en backoff-gedrag bij gateways en clients.

- Het aanpakken van het VS Code retry-gedrag dat het Copilot-tokenverkeer versterkte.

- Het verbeteren van capaciteitsmonitoring voor load balancers en regionale failover-waarborgen.

We blijven maatregelen toepassen om sporadische Copilot-authenticatiefouten in sommige applicaties aan te pakken. We verwachten binnen de komende 30 minuten volledig herstel. Copilot-gebruik via de GitHub CLI en GitHub App wordt hier niet door beïnvloed.

Problemen functioneert normaal.

We blijven de sporadische storingen onderzoeken die van invloed zijn op Copilot-authenticatie in sommige applicaties. Copilot-gebruik via de GitHub CLI en GitHub App wordt niet beïnvloed.

We blijven de sporadische authenticatiefouten onderzoeken. We hebben het opnieuw proberen van authenticatietokens gedeeltelijk uitgeschakeld en zien verbetering. We monitoren de impact voordat we deze maatregel volledig toepassen.

API Requests werkt normaal.

API Requests ondervindt verminderde beschikbaarheid. We blijven dit onderzoeken.

De verstoring die Git Operations beïnvloedde, is verholpen. We monitoren om de stabiliteit te waarborgen.

We hebben de probleemveroorzakende component geïdentificeerd en hebben corrigerende maatregelen genomen, maar we zien nog restimpact in de vorm van sporadische authenticatiefouten. We blijven aanvullende maatregelen toepassen en onderzoeken de resterende impact.

Issues ondervindt verminderde prestaties. We blijven dit onderzoeken.

We hebben het probleemcomponent geïdentificeerd en corrigerende maatregelen genomen, maar we zien nog restimpact bij diverse services. We blijven aanvullende mitigaties toepassen en onderzoeken de resterende impact.

Git Operations ondervindt verminderde prestaties. We blijven dit onderzoeken.

De verminderde prestaties die API Requests, Actions, Git Operations, Issues, Pages, Pull Requests en Webhooks beïnvloedden, zijn verholpen. We monitoren de situatie om stabiliteit te waarborgen.

We hebben de probleemveroorzakende component geïdentificeerd en hebben corrigerende maatregelen genomen. Er zijn sterke tekenen van herstel, maar we werken nog steeds aan het volledig herstellen van de dienst, aangezien de foutpercentages nog iets verhoogd blijven. We zullen verdere updates plaatsen naarmate het herstel vordert.

We ondervinden hoge foutpercentages van rond de 20% voor webervaringen en API-verkeer. Archiefdownloads en downloads van ruwe repository-inhoud hebben een foutpercentage van ongeveer 50%. SAML- en OIDC-authenticatie, SCIM en Team Sync zijn ook getroffen. We werken nog steeds aan het identificeren van de hoofdoorzaak en zullen updates blijven plaatsen naarmate we meer te weten komen en herstelmaatregelen uitvoeren.

We ondervinden hoge foutpercentages van ongeveer 20% voor webervaringen en api-verkeer. Archiefdownloads en downloads van ruwe repository-inhoud ondervinden een foutpercentage van ongeveer 50%. SAML- en OIDC-authenticatie, SCIM en Team Sync zijn ook getroffen. We voeren momenteel maatregelen uit en zullen updates plaatsen naarmate we vorderen.

Webhooks ondervindt verminderde prestaties. We blijven dit onderzoeken.

Git Operations ondervindt verminderde prestaties. We blijven dit onderzoeken.

Pages ondervindt verminderde prestaties. We blijven dit onderzoeken.

API-verzoeken ondervinden verminderde beschikbaarheid. We blijven dit onderzoeken.

Webhooks ondervindt verminderde prestaties. We blijven dit onderzoeken.

We ondervinden hoge foutpercentages van rond de 20% voor webervaringen en API-verkeer. Archiefdownloads en downloads van ruwe repository-inhoud hebben een foutpercentage van ongeveer 50%. SAML- en OIDC-authenticatie, SCIM en Team Sync zijn ook getroffen. We voeren momenteel maatregelen uit op basis van ons onderzoek tot nu toe en monitoren de situatie op verbetering.

Actions ondervindt verminderde beschikbaarheid. We blijven dit onderzoeken.

Pull Requests ondervindt verminderde prestaties. We blijven dit onderzoeken.

Issues ondervindt verminderde beschikbaarheid. We blijven dit onderzoeken.

Pull Requests ondervindt verminderde beschikbaarheid. We blijven dit onderzoeken.

Copilot ondervindt verminderde beschikbaarheid. We blijven dit onderzoeken.

We ondervinden hoge foutpercentages van rond de 20% voor webervaringen en API-verkeer. Archiefdownloads en downloads van ruwe repository-inhoud hebben een foutpercentage van ongeveer 50%. SAML- en OIDC-authenticatie, SCIM en Team Sync zijn ook getroffen. Het onderzoek is gaande en we blijven updates geven zodra we meer informatie ontdekken.

We ondervinden hoge foutpercentages van ongeveer 20% voor webervaringen en api-verkeer. Archiefdownloads en downloads van ruwe repository-inhoud ondervinden een foutpercentage van ongeveer 50%. Het onderzoek naar de hoofdoorzaak is gaande en er zullen updates blijven volgen terwijl we dit onderzoeken.

Pull Requests ondervindt verminderde prestaties. We blijven dit onderzoeken.

Issues ondervindt verminderde prestaties. We blijven dit onderzoeken.

We zien een foutpercentage van ongeveer 20% bij diverse functies, waaronder Pull Requests, Issues en andere. We zijn op dit moment aan het onderzoeken en zullen updates plaatsen zodra deze beschikbaar zijn

Webhooks ondervindt verminderde prestaties. We blijven dit onderzoeken.

Actions ondervindt verminderde prestaties. We blijven dit onderzoeken.

API Requests ondervindt verminderde prestaties. We blijven dit onderzoeken.

Tussen 14:24 en 14:53 UTC op 13 augustus 2026 overbelastte een routinematige achtergrondtaak voor het verwijderen van een organisatie een belangrijke gedeelde database, waardoor meerdere GitHub-services kortstondig meer fouten en tragere reacties gaven. Het sterkst getroffen was de webhook-beheer-API, met kleinere impact op Git-bewerkingen, pull requests, issues, packages, inloggen en Copilot. De impact verdween vanzelf rond 14:53 UTC zodra de taak was voltooid; we hebben het incident om 15:36 UTC opgelost.

Getroffen gebruikers kunnen een korte toename van fouten en tragere reacties hebben ervaren, voornamelijk bij het aanmaken, weergeven of bijwerken van webhooks, met kleinere effecten op pull requests, issues, packages en Git-bewerkingen. Storingen piekten rond 14:37 UTC gedurende enkele minuten tot ongeveer 1%.

Om toekomstige incidenten te voorkomen, hebben we al een update uitgebracht die het veiligere verwijderingstraject voor organisaties inschakelt, samen met limieten op verwijderingsblokkeringen op databases. Voortbouwend op deze wijzigingen, voeren we een audit uit van alle bulkverwijderings- en opschoontaken die naar gedeelde databases schrijven om soortgelijke problemen in de toekomst te voorkomen.

We hebben tijdelijk een achtergrondtaak uitgeschakeld die de impact veroorzaakte. Op dit moment is de impact volledig verholpen.

De verminderde prestaties met betrekking tot Git Operations, Issues, Packages, Pull Requests en Webhooks zijn verholpen. We monitoren de situatie om de stabiliteit te waarborgen.

We onderzoeken momenteel een korte verslechtering van de service voor Git-operaties (met name pushes), issues, pull requests, package registry en webhooks tussen 14:32 en 14:46 UTC. We hebben de oorzaak van de verslechtering geïdentificeerd en onderzoeken mitigatiestrategieën om herhaling te voorkomen.

Packages ondervindt verminderde prestaties. We blijven dit onderzoeken.

Git Operations ondervindt verminderde prestaties. We blijven dit onderzoeken.

Issues ondervindt verminderde prestaties. We blijven dit onderzoeken.

Pull Requests ondervindt verminderde prestaties. We blijven dit onderzoeken.