Held IT - Meldingsgeschiedenis

Meldingsgeschiedenis

Huidige status bekijken

nov. 2026

Verminderde prestaties voor meerdere GitHub-services
OpgelostVerminderde prestaties44 minuten
  • OpgelostUTC

    Op 5 november 2026, tussen 23:21 en ongeveer 23:26 UTC, ondervonden verschillende GitHub-services verhoogde foutpercentages, waaronder Git-bewerkingen, Issues, Actions, authenticatie en API-verzoeken. Klanten kunnen mislukte verzoeken en Git-pushes hebben ervaren, en sommige Actions-workflow-runs liepen vertraging op.

    Dit incident werd veroorzaakt door een bug in onze automatisering voor databasefailover tijdens gepland onderhoud. De automatisering stopte voordat de overstap naar een vervangende database-primary was voltooid, waardoor de bestaande primary geen schrijfbewerkingen meer kon accepteren. We hebben de verstoring verholpen door schrijfbewerkingen op de oorspronkelijke primary te herstellen. Vervolgens hebben we het onderhoud afgerond en de services gemonitord om het herstel te bevestigen.

    We verhelpen de bug in de automatisering en versterken onze controles voorafgaand aan onderhoud en onze hersteprocedures om soortgelijke verstoringen te voorkomen en de service sneller te herstellen mocht er zich een storing voordoen.

  • MonitoringUTC

    Dit incident is opgelost. Alle getroffen services, waaronder Git-bewerkingen, Issues, Actions en API-toegang, zijn hersteld en zijn stabiel gebleven. Bedankt voor uw geduld. We delen meer details in ons beschikbaarheidsrapport.

  • OnderzoekenUTC

    Git Operations werkt normaal.

Incident met Pull Requests, Git Operations en Issues
OpgelostGedeeltelijke storing2 uur
  • OpgelostUTC

    Op 4 november 2026, tussen 09:35 UTC en 11:43 UTC, ondervonden klanten periodiek fouten en time-outs op GitHub.com, voornamelijk bij acties die data wegschrijven. Op het hoogtepunt mislukte ongeveer 20% van de schrijfbewerkingen voor pull requests (zoals mergen, reageren en reviewen), samen met ongeveer 10% van het aanmaken en bewerken van issues en 10–15% van het bewerken van projectitems. Git-pushes via SSH, REST- en GraphQL API-verzoeken, uploads voor codescanning, releases en package-bewerkingen werden eveneens getroffen, en ongeveer 1% van de Actions-runs liep meer dan vijf minuten vertraging op of kon niet starten. Al met al mislukte op het dieptepunt bijna 4% van alle verzoeken aan GitHub.com. Leesacties werden grotendeels niet beïnvloed, en het na korte tijd opnieuw proberen van een mislukte actie slaagde meestal wel.

    Het incident werd veroorzaakt door een piek aan gelijktijdige updates naar hetzelfde databaserecord, waardoor alle beschikbare verbindingen naar een van onze primaire databases bezet raakten. Hoewel die contentie verdween, bleef de opgebouwde wachtrij van verzoeken onze databaseverbindingslaag overbelasten, en herstelde deze niet vanzelf. We hebben het incident verholpen door over te schakelen naar een nieuwe primaire database-host. De meeste diensten herstelden om 11:31 UTC, en Actions herstelde om 11:43 UTC.

    Sinds het incident hebben we het codepad dat de contentie veroorzaakte uitgeschakeld, de verwerkingscapaciteit van onze databaseverbindingslaag met 50% verhoogd, en hebben we alerting toegevoegd om dit type overbelasting eerder te detecteren. Daarnaast verbeteren we onze procedures zodat we in vergelijkbare situaties sneller kunnen overschakelen.

  • MonitoringUTC

    De verminderde prestaties die Actions beïnvloedden, zijn verholpen. We monitoren om de stabiliteit te waarborgen.

  • UpdateUTC

    De verminderde prestaties met betrekking tot API-verzoeken, Git-bewerkingen, Issues en Pull Requests zijn verholpen. We monitoren om de stabiliteit te waarborgen.

  • UpdateUTC

    We werken momenteel aan het verhelpen van verhoogde foutmeldingen en incidentele storingen die GitHub treffen, waaronder Pull Requests, Git Operations en Issues. Sommige verzoeken kunnen mislukken of vertraging oplopen terwijl we werken aan het herstellen van de service. We geven een nieuwe update zodra er meer informatie beschikbaar is.

  • UpdateUTC

    API Requests ondervindt verminderde prestaties. We blijven dit onderzoeken.

  • UpdateUTC

    We onderzoeken verhoogde foutmeldingen en periodieke storingen die GitHub treffen, waaronder Pull Requests, Git Operations en Issues. We blijven gebruikers op de hoogte houden terwijl we aan een oplossing werken.

  • UpdateUTC

    Pull Requests ondervindt verminderde beschikbaarheid. We blijven dit onderzoeken.

  • UpdateUTC

    Actions ondervindt verminderde prestaties. We blijven dit onderzoeken.

  • OnderzoekenUTC

    We onderzoeken meldingen van verminderde prestaties voor Git Operations, Issues en Pull Requests

Incident met Git-bewerkingen
OpgelostVerminderde prestaties1 uur 43 minuten
  • OpgelostUTC

    Op 3 november 2026, tussen 15:00 UTC en 22:37 UTC, waren Git-bewerkingen via HTTPS op GitHub.com verminderd. Clones, fetches en pushes via HTTPS waren traag en sommige mislukten. Voor ongeveer de helft van het Git HTTPS-verkeer liep de mediane reactietijd op van minder dan 100 milliseconden tot wel 5 seconden. Gemiddeld was het foutpercentage 0,65% en piekte het naar 1,29% van de verzoeken aan de service. Git-bewerkingen via SSH werden niet beïnvloed.

    Dit kwam door een opeenstapeling van overtollige verbindingen op de hosts die Git HTTPS-verkeer bedienen, waardoor hun netwerkcapaciteit verzadigd raakte en trage en mislukte reacties ontstonden voor alle clients die door deze hosts werden bediend.

    We hebben het incident verholpen door een clientverkeerspatroon bij onze load balancers te blokkeren en deze opnieuw te laden, waardoor de overtollige verbindingen vrijkwamen. De blokkering verhinderde ook dat sommige gebruikers van één externe integratie Git-bewerkingen via HTTPS konden uitvoeren, totdat we deze op 4 november om 13:26 UTC verwijderden.

    We werken eraan om sneller te waarschuwen bij aanhoudende Git HTTPS-latentie en ervoor te zorgen dat maatregelen van de load balancer onmiddellijk effect hebben op bestaande verbindingen.

  • MonitoringUTC

    De verslechtering die invloed had op Git Operations is verholpen. We monitoren om de stabiliteit te waarborgen.

  • UpdateUTC

    We zien een aanzienlijke verbetering, hoewel sommige Git-bewerkingen voor een klein aantal klanten traag kunnen zijn. We markeren dit als verholpen en blijven dit monitoren.

  • UpdateUTC

    Onze oplossing is uitgerold en klanten zouden verbeteringen moeten gaan zien in Git Operations. We blijven updates geven over de status van de oplossing.

  • UpdateUTC

    We hebben het probleem met Git Operations geïdentificeerd en beginnen met het uitrollen van een oplossing. We laten je weten zodra we herstel zien.

  • OnderzoekenUTC

    We onderzoeken meldingen van verminderde prestaties voor Git Operations

okt. 2026

Incident met Git-bewerkingen, Issues, Actions en Pull Requests
OpgelostGrote storing47 minuten
  • OpgelostUTC

    Op 7 oktober 2026, van 16:52 tot 17:01 UTC, ondervond GitHub opnieuw de storing in schrijfbewerkingen die eerder die dag plaatsvond. Beide storingen hadden dezelfde onderliggende oorzaak. Raadpleeg de gecombineerde samenvatting met beide incidenten, de impact ervan en onze preventiemaatregelen: https://www.githubstatus.com/incidents/djlmxz2zd0j7

  • UpdateUTC

    Alle systemen zijn hersteld. We hebben maatregelen toegepast en verwachten geen herhaling.

  • MonitoringUTC

    De verslechtering is verholpen. We monitoren om stabiliteit te garanderen.

  • UpdateUTC

    We hebben van 16:52 UTC tot 17:01 UTC wijdverspreide impact op GitHub-services waargenomen en onderzoeken de oorzaak. Alle systemen zijn hersteld. Dit incident is een herhaling van het incident van eerder op de dag https://www.githubstatus.com/incidents/djlmxz2zd0j7. Een blijvende oplossing is in uitvoering. We geven over 30 minuten een nieuwe update.

  • OnderzoekenUTC

    We onderzoeken meldingen van verminderde prestaties voor Actions, Git Operations, Issues en Pull Requests

Incident met Git-bewerkingen, Pull Requests en Actions
OpgelostGrote storing
  • OpgelostUTC

    Op 7 oktober 2026 had GitHub twee storingen van schrijfbewerkingen met dezelfde oorzaak, in totaal ongeveer 19 minuten. De eerste duurde van 15:06 tot 15:16 UTC (ongeveer 10 minuten) en de tweede van 16:52 tot 17:01 UTC (ongeveer 9 minuten). In beide periodes mislukten acties die gegevens opslaan of wijzigen bij Git-bewerkingen, pull requests, issues, GitHub Actions, de API, webhooks, inloggen en authenticatie, GitHub Apps en OAuth, code scanning, Codespaces en Copilot. Het lezen van gegevens werd grotendeels niet beïnvloed.

    Tijdens de eerste storing mislukte 5,6% van alle web- en API-verzoeken, met een piek van 8,9%, en meer dan 12.000 organisaties kregen te maken met mislukte verzoeken. Tot 26% van de Git-authenticatieverzoeken mislukte, en 17% van de Actions-workflowruns mislukte met infrastructuurfouten. Tijdens de tweede storing mislukte 6,2% van de web- en API-verzoeken, met een piek van 9,3%, en meer dan 11.000 organisaties werden getroffen. Tot 25% van de Git-authenticatieverzoeken mislukte, en 19% van de Actions-workflowruns mislukte. Er trad geen gegevensverlies op in databases, en bewerkingen die na herstel opnieuw werden geprobeerd, slaagden.

    GitHub vertrouwt op een interne service die bijhoudt welke databaseservers nieuwe en bijgewerkte gegevens moeten ontvangen. Tijdens het vervangen van machines die deze service draaien als onderdeel van regulier onderhoud, startte een van de nieuwe machines met een verouderde kopie van zijn gegevens, waarin nog databaseservers stonden die we al hadden uitgefaseerd. Toen deze node online kwam, wijzigde deze ten onrechte de routeringsconfiguratie met de verouderde gegevens, waardoor schrijfverzoeken werden doorgestuurd naar niet-bestaande databaseservers.

    Elke storing eindigde toen een van onze gevestigde machines met de juiste configuratie de leider van het quorum werd en de juiste configuratie verzond. Na de eerste storing identificeerden we de nieuwe machine als de bron en pauzeerden we het geautomatiseerde onderhoud om te voorkomen dat deze opnieuw leider zou worden. Om 16:52 UTC bracht een geautomatiseerde onderhoudstaak die de pauze niet respecteerde, de machine weer aan de macht, en de storing deed zich opnieuw voor. We hebben die machine om 17:02 UTC uitgeschakeld en sindsdien verwijderd, en de automatisering respecteert de pauze nu, wat een nieuwe regressie bleek te zijn als gevolg van een update van onze puppet-infrastructuur.

    Om herhaling te voorkomen, verwijderen we uitgefaseerde databaseservers uit de gegevens van de service voordat er een nieuwe machine wordt toegevoegd, en zorgen we ervoor dat nieuwe machines niet tot leider kunnen worden gekozen totdat hun gegevens zijn gecontroleerd. We passen onze systemen ook aan om configuraties te weigeren die verwijzen naar servers die niet bestaan, en in plaats daarvan de laatst bekende goede instellingen te blijven gebruiken. Ten slotte geven we responders een snellere manier om een slecht functionerende machine buiten gebruik te stellen, en voegen we waarschuwingen toe zodat wijzigingen zoals deze binnen enkele seconden worden opgemerkt.

    We zullen een uitgebreidere beschrijving van deze incidenten delen in ons maandelijkse beschikbaarheidsrapport, samen met de status van de reparaties die we uitvoeren om dit soort problemen in de toekomst te voorkomen.

  • UpdateUTC

    Git Operations, Pull Requests en Actions zijn volledig hersteld en stabiel. De hoofdoorzaak is geïdentificeerd en er worden maatregelen genomen om herhaling te voorkomen.

  • UpdateUTC

    We zien volledig herstel op alle systemen, waaronder Git-bewerkingen, Pull Requests en Actions. We blijven de hoofdoorzaak van de verstoring tussen 15:06 UTC en 15:16 UTC onderzoeken en zullen binnenkort een nieuwe update delen.

  • UpdateUTC

    De verminderde prestaties zijn verholpen. We houden de situatie in de gaten om de stabiliteit te waarborgen.

  • MonitoringUTC

    De verminderde prestaties zijn verholpen. We monitoren om de stabiliteit te waarborgen.

  • UpdateUTC

    De verslechtering die Git Operations en Webhooks trof, is verholpen. We monitoren de situatie om de stabiliteit te waarborgen.

  • UpdateUTC

    De verminderde prestaties die invloed hadden op Issues zijn verholpen. We monitoren om de stabiliteit te waarborgen.

  • UpdateUTC

    We zien een gedeeltelijk herstel van alle systemen. We blijven de hoofdoorzaak van de storing monitoren en onderzoeken.

  • UpdateUTC

    Git Operations ondervindt verminderde prestaties. We blijven dit onderzoeken.

  • UpdateUTC

    Actions werkt normaal.

  • UpdateUTC

    De verminderde prestaties met betrekking tot Pull Requests zijn verholpen. We houden de situatie in de gaten om de stabiliteit te waarborgen.

  • UpdateUTC

    Webhooks ondervindt verminderde prestaties. We blijven dit onderzoeken.

  • UpdateUTC

    Git Operations werkt normaal.

  • UpdateUTC

    Pull Requests ondervindt verminderde prestaties. We blijven dit onderzoeken.

  • UpdateUTC

    We hebben tussen 15:06 UTC en 15:16 UTC wijdverspreide impact op GitHub-services waargenomen en onderzoeken de onderliggende oorzaak. We zien dat alle systemen herstellen en zullen binnenkort een nieuwe update geven.

  • UpdateUTC

    Git Operations ondervindt verminderde prestaties. We blijven dit onderzoeken.

  • UpdateUTC

    Webhooks ondervindt verminderde beschikbaarheid. We blijven dit onderzoeken.

  • UpdateUTC

    Issues ondervindt verminderde prestaties. We blijven dit onderzoeken.

  • UpdateUTC

    Webhooks ondervindt verminderde prestaties. We blijven dit onderzoeken.

  • OnderzoekenUTC

    We onderzoeken meldingen van verminderde beschikbaarheid voor Actions, Git Operations en Pull Requests

sep. 2026

Vorige

sep. 2026 naar nov. 2026

Volgende