Dimenzování jističů a zapínací proud pro servery s umělou inteligencí

Stížnost, kterou nejčastěji slýcháme po instalaci serveru s umělou inteligencí, je nějaká varianta „jistič se stále vypíná“. Zhruba v polovině případů je rack v pořádku – grafické karty běží, BMC zůstává zapnutý, grafy SNMP vypadají rozumně – a přesto se v nepředvídatelných okamžicích panel převrátí a místnost se potemní. Méně často je spouštěčem proudový chránič (RCD), což je ještě frustrující, protože zátěž vypadá vyváženě a zařízení vypadá v pořádku.

Z našich zkušeností vyplývá, že ani jeden z příznaků obvykle nepředstavuje přetížení. Asi v polovině případů je to špatná křivka jízdy na jističi – obvykle jističi s křivkou B instalovaným elektrikářem, který předpokládal, že výpočetní technika umělé inteligence se chová jako kancelářská IT. Asi v 30 % případů je to nesprávný typ proudového chrániče, kde je zařízení typu AC nebo typu A požádáno o rozlišení úniku stejnosměrné složky ze stohu serverových zdrojů s korigovanou PFC. Zbývajících 20 % představuje skutečné přetížení, téměř vždy v okamžiku, kdy několik zdrojů synchronně startuje za studena a obálka zapínacího proudu krátce překročí cokoli, co by průměrný odběr předpovídal.

Tento článek je doplňujícím článkem k článku W04 (dimenzování napájecího zdroje) z hlediska elektrických parametrů. P02 (Typy PDU). Zahrnuje skutečný význam vypínacích křivek podle normy IEC 60898, skutečné chování dodáváných napájecích zdrojů při zapínání, situace, kdy dochází k 80% snížení výkonu při trvalém zatížení a jaký typ proudového chrániče specifikovat pro rack s přepínanými napájecími zdroji AI pro servery. Na konci jsou uvedeny praktické příklady pro sestavu 5090 se 4 GPU a sestavu s 8 GPU.

Co jistič skutečně měří – dva vypínací mechanismy v jednom zařízení

Každý miniaturní jistič podle IEC 60898 má dva ochranné mechanismy zabalené ve stejném pouzdře.

Jedno tepelný prvek je bimetalický pásek, který se zahřívá proudem po dobu mnoha sekund. Modeluje profil I²t, který určuje, zda se kabel přehřívá. Podle normy IEC 60898 jsou konvenční tepelné body: při 1.13 × jmenovitý proud jističe (In) musí zařízení ne vypnutí v rámci konvenční doby (obvykle > 1 hodina pro jmenovité proudy ≤ 63 A) a při 1.45 × In musí vypnutí v rámci konvenční doby. Toto je část, která chrání vodič před trvalým přetížením.

Jedno magnetický prvek je elektromagnetická cívka, která rozpojí kontakty během zlomku půlcyklu, když proud překročí pevnou prahovou hodnotu. Toto je část, která chrání před zkraty – a část, která rozhoduje, zda je zapínací proud vašeho serveru s umělou inteligencí „v pořádku, krátký přepětí“ nebo „vypnutí, uvidíme se zítra“.

Písmeno vypínací křivky (B, C, D) označuje pásmo magnetického prahu. Tepelná charakteristika je napříč křivkami při stejném In stejná; liší se pouze magnetický bod.

Pro jistič 16 A jsou magnetické prahové hodnoty zhruba následující: B16 vybaví při proudu nad 48–80 A; C16 vybaví při proudu nad 80–160 A; D16 vybaví při proudu nad 160–320 A. Přesný bod uvnitř každého pásma závisí na výrobci a teplotě.

Většina obytných a malých komerčních budov v EU je standardně dodávána s jističi s křivkou B. Tato volba je správná pro kancelářské zásuvky, osvětlení a odporové zátěže. Je to špatné výchozí nastavení pro obvod serveru s umělou inteligencí. z důvodů, kterými se právě chystáme projít.

Skutečné chování zdroje při zapnutí – datové listy součástek podceňují

Když je serverový zdroj zapojen do zásuvky a zapnut za studena, prvním úkolem vstupního stupně je nabití objemových kondenzátorů na straně stejnosměrného proudu. Ty mají obvykle kapacitu 470 µF až 2200 µF s jmenovitým napětím 400 V nebo 450 V a jsou umístěny za můstkovým usměrňovačem. Z nulového začátku vypadají po dobu několika set mikrosekund jako téměř zkrat k střídavému vedení, dokud se napětí na kondenzátoru nedosáhne špičkového síťového napětí.

Mechanismus ve většině slušných napájecích zdrojů je Termistor NTC (záporný teplotní koeficient) sériově se vstupem. Za studena představuje 5–20 Ω; spínací proud jej během milisekund sám zahřeje, odpor klesne na několik procent studené hodnoty a termistor se stane efektivně transparentním pro ustálený provoz. Nevýhodou je, že NTC se po zapnutí a vypnutí musí znovu ochladit – zdroj, který právě běžel a byl na deset sekund vypnut, se může zapínat téměř jako by žádný omezovač nebyl, protože termistor je stále horký a má nízký odpor.

Moduly CRPS serverové úrovně často přidávají aktivní omezovač zapínacího proudu: relé nebo MOSFET, který po nabití kondenzátorů obchází omezovací odpor. To kombinuje ochranu proti studenému startu, kterou poskytuje NTC, s nezávislostí ochlazování pomocí hardwarového spínače. Moduly CRPS v rozsahu 1.6–3 kW se obvykle chovají lépe při nárazovém proudu než jednotky ATX se stejným výkonem, částečně proto, že aktivní obvod je standardní, částečně proto, že předpoklad impedance zdroje (datové centrum 230 V) je přesnější.

Dva důsledky pro návrh racku s umělou inteligencí:

1. Špička zapínacího proudu uvedená v datovém listu je při jmenovitém napětí a „typické“ impedanci zdroje. Při 245 V (horní hranice tolerance EU) na krátkém napájení s nízkou impedancí z blízkého rozvaděče může být špička 1.5–2× vyšší než typové číslo. Naměřili jsme špičky 180 A na 1500W ATX jednotce, která byla specifikována na 100 A.
2. Více zdrojů, které se spouštějí současně, sčítají své zapínací špičky. Síťový cyklus je pro všechny stejný; pokud jsou čtyři zdroje zapojeny do stejného obvodu a všechny sepnou své vstupní spínače ve stejném okamžiku, jistič zaznamená zhruba 4násobek špičky na zdroj. Server 4× 5090 se dvěma 2kW zdroji ATX (špička ~150 A každý v nejhorším případě) začíná krátkodobě se špičkou ~300 A. Jistič B16 (magnetický práh 48–80 A) se vypne. Jistič C16 (80–160 A) se vypne v nejhorším případě. Jistič C32 (160–320 A) zůstává v chodu.

Toto je mechanismus, který stojí za nejčastější stížností typu „můj nový server s umělou inteligencí stále vypíná jistič“. Trvalé zatížení je v pořádku. Vypíná se při zapínacím proudu při studeném startu.

Snižování výkonu při neustálém zatížení – pravidlo 80 %, které zachycuje úlohy umělé inteligence

Praxe EU (a v duchu normy IEC 60364) spočívá ve snížení jmenovitého trvalého proudu jističe na zhruba 80 % jmenovitého proudu u zátěží, které odebírají trvalý proud déle než tři hodiny. Severní Amerika to kodifikuje v normě NEC 210.20(A); Evropa to uplatňuje spíše jako osvědčený postup než jako jedno pevné pravidlo, ale základní fyzika – ohřev bimetalu v jističi, ohřev vodiče v kabelu – je identická.

Inference a trénování umělé inteligence jsou explicitně kontinuální zátěže. Koncový bod vLLM obsluhující 70B model při stabilním zatížení požadavky spotřebovává 80–95 % jmenovité TDP GPU po dobu několika hodin. Trénovací běh je ještě rovnoměrnější. 80% snížení výkonu platí v plném rozsahu. — pro úlohy umělé inteligence neexistuje žádná výjimka pro „přerušované zátěžové zatížení“, protože zátěž je přesně ten druh trvalého odběru, proti kterému má snížení výkonu chránit.

Server 4× 5090 s trvalým výkonem 2.4 kW má 81 % trvalého jmenovitého proudu jističe B/C 16 A, což je přesně na hranici limitu. S jističem s křivkou B je vedení v průměru v pořádku a vypíná se při nárazovém proudu. S jističem s křivkou C je vedení v průměru v pořádku a občas vypíná při shodných přechodových špičkách napříč čtyřmi grafickými procesory. S jističem C 20 A nebo C 25 A má vedení skutečnou rezervu a nikdy se nevypne. Proto je naše výchozí doporučení pro sestavu 5090 se 4 grafickými procesory... vyhrazený obvod C 20 A nebo C 25 A, ne 16A obvod, na který matematika „sedí“.

Výběr vypínací křivky pro řadu K-AI

Dvě poznámky k této tabulce:

• D-křivka je zřídka správná odpověď. D 10–20× In je určeno pro nárazový proud pro napájení transformátoru a spouštění motoru, který může trvat stovky milisekund. Náběhový proud napájecího zdroje je událost v řádu milisekund až několika milisekund. Jistič s D-křivkou nárazový proud snáší jen minimálně, ale ztrácí citlivost pro ochranu proti zkratu na konci zátěže dlouhého kabelu. Pokud k tomu nemáte konkrétní důvod, držte se C.
• Zvýšení jističe o jednu velikost je téměř vždy levnější než zvýšení o jednu křivku. Výměna součástky za AC 20 A na kabelu správně dimenzované velikosti je za 15 eur, tedy za C 16 A. Přechod z B na C se stejným jmenovitým proudem je také výměnou součástky, ale je v rozporu s původní konstrukční volbou elektrikáře. Oba přístupy fungují; obvykle děláme oba – zvýšení na C-křivku a zvýšení o jednu jmenovitou velikost – abychom uvolnili místo pro druhý zdroj, který nakonec přidáte.

Proč datové listy dodavatelů o záběru podhodnocují skutečná čísla

Tři důvody, proč je údaj o zapínacím proudu v datovém listu spodní hranicí, nikoliv stropem:

1. Měření dodavatele jsou pro jmenovité napětí 230 V AC. V některých oblastech a v hodinách nízkého zatížení může mít síťové napětí 245 V nebo vyšší. Špička zapínacího proudu se lineárně škáluje s napětím sítě nad napětím částečně nabitého kondenzátoru. Zapínací proud 100 A při 230 V je 107 A při 245 V – malý efekt, ale sčítá se s ostatními.
2. Impedance zdroje uvedená v datovém listu je „typický“ laboratorní zdroj, často několik stovek miliohmů. Reálná instalace s rozvaděčem ve stejné místnosti jako rozvaděč a krátkým napájecím vedením může dosáhnout impedance zdroje pod 100 mΩ. Nižší impedance zdroje znamená menší pokles napětí během nárazového proudu, což znamená vyšší špičkový proud. Viděli jsme stejný zdroj odebírat špičkový proud 80 A na dlouhém kabelu a špičkový proud 140 A na krátkém.
3. Stav přednabití stejnosměrné sběrnice je důležitý při rychlém cyklu zapnutí/vypnutí. Zdroj vypnutý na několik sekund a znovu zapnutý může zaznamenat teplé kondenzátory se zbytkovým nabitím – obvykle to pomůže, menší nárazový proud. Ale zdroj vypnutý na několik sekund s... studený NTC, který se neresetoval a částečně vybitý Kondenzátory mohou způsobit zvláštní náběhový proud při druhém zásahu, který překročí hodnotu pro studený start. To je vzácné, ale objevuje se to v raccích, kde někdo během ladění zapíná a vypíná napájení přes přepínaný PDU.

Praktickou odpovědí je předpokládat Nejhorší možný vrchol je zhruba 2× vyšší než údaj v datovém listu. při dimenzování křivky jističe. To je důvod, proč výše uvedená tabulka u sestav se 4 grafickými kartami udává proud C 20–25 A a u sestav s 8 grafickými kartami C 32 A nebo třífázový proud, i když by matematika pro ustálený stav odpovídala i menším jističům.

Diferenciální ochrana: typ RCD pro serverové rozvaděče s umělou inteligencí

Proudový chránič (RCD) chrání před zemním proudem, který překročí bezpečnou prahovou hodnotu – obvykle 30 mA pro obvody osobní ochrany. Mechanismus je proudový transformátor, který sčítá fázové a nulové proudy; za normálního provozu je součet nulový a jakákoli nerovnováha (proud směřující někam do země) se projeví jako reziduální proud, který zařízení vypne nad prahovou hodnotu.

Dva způsoby, jakými rack serveru s umělou inteligencí mate proudový chránič:

Ustálený stav úniku kondenzátoru Y. Každý spínaný zdroj má ve svém vstupním filtru EMC kondenzátory Y, které se nacházejí mezi fází a zemí a nulovým vodičem a zemí. Tyto kondenzátory odvádějí vysokofrekvenční spínací šum do země. Jako vedlejší efekt také propouštějí do země malý proud o frekvenci 50 Hz – obvykle 0.5–1 mA na zdroj u spotřebitelských ATX jednotek, 1–3 mA na zdroj u serverových jednotek CRPS s náročnější filtrací. Norma IEC/EN 60950-1 a její nástupce IEC 62368-1 z bezpečnostních důvodů omezují tento proud na 3.5 mA na IT zařízení. Stojan se 4 zdroji proto může před vznikem poruchy vykazovat uzemňovací proud v ustáleném stavu 4–12 mA. U proudového chrániče s proudem 30 mA je to „na papíře v pořádku“, ale spotřebuje to téměř polovinu vypínacího prahu.

Únik stejnosměrné složky z aktivního korekce účiníku (PFC). Moderní serverové zdroje používají aktivní korekci účiníku (PFC) – zvyšující měnič na vstupu, který odebírá proud úměrný tvaru vlny síťového napětí, čímž dosahuje PF > 0.95. Stupeň PFC produkuje malou, ale nenulovou stejnosměrnou složku v jakémkoli zemním svodu, ke kterému dojde (většinou za poruchových podmínek). Proudové chrániče typu AC reagují pouze na čistý sinusový střídavý reziduální proud – budou… ne detekují poruchy stejnosměrné složky. Proudové chrániče typu A detekují střídavý a pulzující stejnosměrný proud, což pokrývá většinu jednofázových elektronických zátěží. Proudové chrániče typu B detekují také hladké stejnosměrné zbytkové proudy, což je to, co dokáže produkovat aktivní PFC a jakýkoli třífázový usměrňovač u zátěže.

Chrániče typu B jsou 3–5krát dražší než typ A. Pro jeden server s umělou inteligencí a 4 GPU v existujícím kancelářském okruhu je typ A… obvykle v pořádku – únik je dominantně ovlivněn střídavým proudem kondenzátoru Y, stejnosměrná složka je malá a náklady na modernizaci typu B na celém panelu je těžké odůvodnit. Pro specializovanou laboratoř umělé inteligence s více servery, Typ B na vstupním potrubí je správná odpověď, s proudovými chrániči typu A 30 mA zapojenými na úrovni zásuvky pro osobní ochranu při čištění zásuvek a podobně.

Selektivita: proudový odpařovač před/za proudem

Jeden nepříjemný způsob selhání v laboratořích, které přišroubovávají další proudové chrániče na stávající rozvaděč: 30mA proudový chránič před další 30mA proudový chránič neposkytuje žádnou selektivní diskriminaci. Kterýkoli z těchto přístrojů se může při poruše vypnout jako první a jakmile se jeden vypne, může ho následovat druhý, protože se únik přerozdělí vlastními cestami mechanismu ochrany. Výsledkem je, že celý rozvaděč ztmavne při poruše, která by měla být lokalizovanou poruchou jednoho obvodu.

Správná topologie pro laboratoř umělé inteligence:

Správná topologie selektivity proudových chráničů: 100 mA selektivní typ B před obvody AI, 30 mA pouze typ A na pomocných a kancelářských zásuvkách.

Označení „S“ neboli „selektivní“ na proudovém chrániči před proudem (RCD) přidává k vypínacímu mechanismu záměrné časové zpoždění 40–200 ms, čímž zajišťuje, že zařízení s proudem 30 mA před proudem mají čas nejprve odstranit poruchu. Bez časového zpoždění by dva proudové chrániče zapojené do série se stejnou prahovou hodnotou soupeřily. Selektivní proud 100 mA typu B proti proudu, s proudem 30 mA typu A po proudu pouze na pomocných zásuvkách a Ne Pro víceserverový rack s umělou inteligencí je topologie RCD na dedikovaném serverovém obvodu (spoléhající se na 100 mA proti proudu pro odstranění poruchy).

Zpracovaný příklad 1 — 4-GPU 5090 K-AI server

Nastavení: jedna základní deska K-AI 96 Turin se 4× RTX 5090, 2× 1500W ATX zdroje (rozdělené napájení na W04), v malé laboratoři na nově instalovaném dedikovaném obvodu.

Trvalé zatížení: ~2.4 kW při 230 V = 10.4 A trvale. Při 80% snížení výkonu je nejmenší jistič, který je legálně vhodný, 13 A; další standardní velikost je 16 A.

Špičkový náběhový proud (nejhorší případ): 2× 150 A = 300 A dohromady, trvající < 5 ms. Jistič AB 16 A (magnetický 48–80 A) se v tomto případě vypne. Jistič AC 16 A (magnetický 80–160 A) se vypne na horní hranici nejhoršího případu. Jistič AC 20 A (magnetický 100–200 A) drží.

Proudový chránič: jeden pár napájecího zdroje, odhadovaný svod proudu přes Y je ~3–5 mA v kombinovaném ustáleném stavu. Proudový chránič typu A s proudovým proudem 30 mA má rezervu ~25 mA – v pořádku. Pokud je v budově pouze proudový chránič typu AC, nahraďte předřazené zařízení proudovým chráničem typu A nebo typu B; neinstalujte na sebe druhé 30 mA zařízení.

Specifikace předaná elektrikáři:

• Vyhrazený jednofázový obvod 230 V, Jistič C 20 A (nebo B 20 A, pokud dodavatel v daném hodnocení neuvádí křivku C; preferuje se C).
• Proudový chránič typu A 30 mA minimálně typ B, pokud se budova stejně vylepšuje.
• Zásuvka Schuko (nebo místní jednofázový 16A konektor) v rozvaděči. Kabel C19/C20 ze zásuvky do PDU.
• Žádné další zátěže na stejném obvodu.

Tento obvod udrží server 5090 se 4 grafickými kartami během studených startů, trvalého tréninku a občasného vypnutí a zapnutí napájení bez rušivých vypnutí.

Zpracovaný příklad 2 — 8-GPU 5090 K-AI server

Nastavení: jedna karta K-AI 256 Turin Dual s 8× RTX 5090, 2+2 moduly CRPS po 2 kW, určená pro trvalé školení v malé serverovně.

Trvalé zatížení: ~4.5 kW při 230 V = 19.6 A trvale. Při 80% snížení výkonu je potřeba jistič alespoň 25 A; další standardní velikost je 32 A.

Špičkový náběhový proud (nejhorší případ): 4× 80 A = 320 A kombinovaně pro moduly CRPS, < 5 ms. Jistič AC 32 A (magnetický 160–320 A) je na hraně. Jistič AC 40 A (200–400 A) drží s rezervou.

Proudový chránič: 4× CRPS s PFC, únik ve tvaru Y odhadovaný na ~8–15 mA v kombinovaném ustáleném stavu plus nenulová stejnosměrná složka. Proudový chránič typu A s proudem 30 mA v tomto případě nakonec způsobí rušivé vypnutí.a nemusí správně detekovat stejnosměrný poruchový proud. Správnou specifikací je typ B, selektivní 100 mA.

Možnosti specifikace:

• Varianta A – jednofázová: Jistič C 32 A nebo C 40 A na vyhrazeném obvodu 230 V, selektivní proudový chránič typu B 100 mA předřazený. Modrá zásuvka CEE 32 A (jednofázová dle IEC 60309) ve stojanu. Funguje to, ale je to na horní hranici jednofázového rozvodu; kabeláž je vystavena značnému proudu.
• Varianta B – třífázová (preferovaná): Třífázová zásuvka CEE 400 V, červená, 16 A, v rozvaděči, se čtyřmi moduly CRPS rozloženými mezi fázemi na PDU (na P02/P03). Každá fáze nese trvalý proud ~6.5 A, což je v rámci limitu jakéhokoli jističe C 16 A, proudového chrániče RCD na větev nebo sdíleného selektivního proudu 100 mA typu B na třífázovém napájení. Toto je čistší řešení pro jakoukoli sestavu s 8 grafickými procesory, která má k dispozici třífázové napájení.

Příklad 3 – plánování laboratoře se čtyřmi stojany

Nastavení: plánování laboratoře robotiky a umělé inteligence se čtyřmi racky, z nichž každý bude obsahovat 2× 8-GPU servery K-AI, 2× 4-GPU servery, síťové připojení a nabíjení humanoidů. Přibližný trvalý výkon na rack: 2× 4.5 + 2× 2.4 = 13.8 kW; se síťovým připojením, přepínači a nabíječkami zaokrouhleno na 15 kW na rack, celkem 60 kW.

Jednofázová distribuce je zde po příchodu mrtvá – trvalý počet na stojan již vyžaduje třífázovou. Plán:

• Budování zdroje: Třífázové napětí 400 V, minimálně 100 A na fázi. Stávající budovy často vyžadují modernizaci inženýrských sítí; před podpisem nájemní smlouvy zkontrolujte rozvaděč.
• Laboratorní dílčí panel: Třífázové napětí 400 V, napájené z hlavní sítě po vodičích 4× 63 A nebo 4× 100 A na kabelový úsek.
• Na stojan: Třífázové napájení 400 V 32 A CEE, červený vodič z dílčího rozvaděče (~22 kW teoreticky, 17.6 kW trvale – odpovídá 15 kW na rozvaděč s 17% rezervou). Třípólový jistič C 32 A před každým napájením rozvaděče.
• Strategie pro zajištěné vnější zdroje (RCD): 100 mA selektivní typ B na napájení rozvaděče, 300 mA selektivní typ B na hlavním rozvaděči jako protipožární ochrana. Proudové chrániče 30 mA typu A pro ochranu osob pouze na pomocných zásuvkách v laboratoři (pracovní stoly, zásuvky pro úklid), nikoli na napájení serverů.
• Fázové vyvážení: za P03Fázově pruhovaná PDU s měřením zásuvek na stojan s dokumentovaným mapováním zásuvek a fází.
• Postupné spuštění: viz. níže.

Past rozloženého startu

Specifický scénář, který poprvé postihne laboratoře: výpadek proudu vypne jistič na předřazeném zdroji, síťové napájení se vrátí a každý server v racku se pokusí o studený start ve stejném okamžiku. Celkový nárazový proud je N × špičkový proud na zdroj napříč všemi servery v racku. U racku se čtyřmi servery může krátkodobě dosáhnout 1000–2000 A na jednom zdroji.

Nadřazený jistič MCB to zaznamená a vypne. Místnost se znovu potemní. Správce systému vypne a zapne panel. Opakuje se totéž.

Dvě řešení, která obě standardně nasazujeme na multiserverových sestaveních Kentina:

1. Přepínaná PDU s postupným spouštěním (za P02). Zásuvky PDU jsou konfigurovány tak, aby se zapínaly postupně s 2–5sekundovým zpožděním mezi jednotlivými zásuvkami. Celková doba pro zapnutí čtyř serverů je 8–20 sekund; události zapnutí se nepřekrývají.
2. „Opožděný start“ nebo „měkký start“ napájecího zdroje v BIOSu / IPMI. Mnoho serverových platforem má konfigurovatelné zpoždění obnovení napájení z elektrické sítě, které náhodně nebo postupně rozkládá čas spuštění v rámci malého okna. V kombinaci s rozložením PDU to poskytuje druhou vrstvu dekorelace.

Bez jednoho z nich by se 8serverový rack na jediném jističi vypnul při každé události obnovení napájení. Viděli jsme to; je to spolehlivě reprodukovatelné; nemá to nic společného s průměrným zatížením.

---

Toto je součást Kentino Wiki, referenční série o výpočetní technologii s využitím umělé inteligence, robotice a systémech, které je propojují. Komentáře a opravy jsou vítány na adrese info@kentino.com.