Výpadek Cloudflare 21. 6. 2022 — chyba v síťové konfiguraci shodila 19 datacenter

21. června 2022 brzy ráno přestala podstatná část služeb postavených na Cloudflare odpovídat. Nešlo o útok ani o pád celé sítě — výpadek se omezil na 19 datacenter, jenže právě ta patří k nejvytíženějším na světě a teče jimi zhruba polovina globálního provozu Cloudflare.

Co se přesně stalo

Cloudflare v té době zaváděl novou páteřní (spine) vrstvu, která měla zpružnit a zodolnit propojení edge serverů. Součástí byla změna síťové konfigurace, jejíž chyba narušila pořadí BGP oznámení — protokolu, kterým si sítě navzájem říkají, kudy vést provoz. V důsledku toho se IP adresy Cloudflare v dotčených lokalitách stáhly z internetu a datacentra se stala nedosažitelnými.

Náprava byla relativně rychlá: první lokalita se vrátila do 31 minut, všech 19 bylo zpět do 75 minut od začátku.

Jak se před podobným výpadkem chránit

Tenhle incident ukazuje, že i špička v oboru může jednou změnou shodit půlku své kapacity — a že status stránka providera nestačí jako jediný zdroj pravdy.

• Nezávislé sondy z více regionů poznají, že konkrétně vaše weby přes Cloudflare neodpovídají, bez ohledu na to, co hlásí dashboard providera.
• Záložní trasa na jiné CDN udrží web dostupný, i když primární síť globálně zakolísá.
• Automatický failover zkrátí dobu výpadku z desítek minut ručního řešení na minuty.

Redundio dělá přesně tohle: monitoruje nezávisle na Cloudflare a při potvrzeném výpadku překlopí DNS na zálohu — automaticky, i v 6 ráno.