Fázové vyvažování napříč AI racky: Proč je to důležité a co skutečně funguje

Třífázové napájení 32 A vypadá na papíře jako spousta prostoru. 32 A × 400 V × √3 = ~22 kW. To pohodlně pojme čtyři osmiGPU servery K-AI při trvalém zatížení s rezervou. Proč tedy polovina vlastnoručně postavených laboratoří umělé inteligence v prvním měsíci vypne jistič?

Odpovědí je téměř vždy fázová vyváženost – nebo spíše její absence. Celkové zatížení racku je v pořádku. Jedna fáze hoří.

Tento článek pojednává o tom, jak se třífázové napájení ve skutečnosti rozvádí v racku se servery s umělou inteligencí, proč úlohy s umělou inteligencí specificky zatěžují problém vyvažování a co dělat na úrovni zásuvek PDU, aby vás jistič přestal překvapovat.

Matematika, stručně řečeno

Pro vyvážené zapojení hvězdy s napětím mezi vodiči Va celkový činný výkon Pcelkový účiník PF:

I_line  =  P_tot  /  (V_ll × √3 × PF)

Na evropském napájení 400 V s PF = 0.98, které přenáší vyvážený výkon 20 kW: I_line = 20 000 / (400 × 1.732 × 0.98) ≈ 29.5 A. Vhodné pro jistič 32 A. Každá fáze nese ~29.5 A, nulový vodič se blíží nule.

Rozdělte stejných 20 kW nerovnoměrně – 12 kW na L1, 5 kW na L2, 3 kW na L3:

Celkový výkon je stále 20 kW. Jistič 32 A se nestará o celkové hodnoty – záleží mu na tom, která jedna fáze se vypne jako první. L1 při 165 % jmenovitých vypnutí. Zbývající dvě fáze zůstaly v klidu.

Nevyvážené zatížení nejen plýtvá kapacitou, ale také proměňuje prostor nad hlavou, za který jste zaplatili, v cestu, která jen čeká na to, až se uskuteční.

Problém neutrálního proudu

Trojfázové systémy zapojení do hvězdy nesou čtvrtý vodič – nulový vodič – který vrací vektorový součet tří fázových proudů. Při dokonale vyvážené lineární zátěži se tyto tři proudy ruší v intervalech 120° a nulový vodič nese nulu. Při nerovnováze nulový vodič nese vše, co se neruší.

Užitečná aproximace pro neutrální proud za podmínek nesymetrie lineární zatížení:

I_N  =  √( I_R² + I_Y² + I_B² − I_R·I_Y − I_Y·I_B − I_B·I_R )

Pro náš příklad 53/22/13 A to znamená, že nulovým vodičem protéká zhruba 35 A. V rozvaděči, kde je nulový vodič dimenzován na jmenovitý fázový proud, je nulový vodič s proudem 35 A na fázovém proudu 32 A nepohodlný. V rozvaděči, kde je nulový vodič poddimenzován (starší instalace, rekonstrukce nebo předpoklad vyváženého zatížení), se zde nachází roztavená izolace.

Upřímné ponaučení: v každém stojanu s umělou inteligencí, který si zaslouží jméno, musí mít nulový vodič alespoň stejný průřez jako fázové vodiče a ideálně předimenzovaný. K tomu se vrátíme v části o K-faktoru, protože nelineární zátěže to zhoršují.

Proč to pracovní zátěže umělé inteligence zdůrazňují více než tradiční IT

Tradiční podnikový rack – webové servery, databáze, pár síťových přepínačů – má zátěž, která je statisticky nekorelovaná napříč stroji. CPU serveru A zaznamenává v jednom okamžiku špičky, serveru B v jiném, průměr v celém racku je plynulý a vyvažování mezi třemi fázemi funguje přibližně stejně, protože náhodné fluktuace se ruší.

Pracovní zátěže umělé inteligence tento předpoklad porušují dvěma konkrétními způsoby.

Synchronní korelace zatížení. Distribuované trénování probíhá ve stejném kroku na všech GPU současně. Zpětný průchod začíná na všech osmi GPU serveru současně. Pokud trénujete na čtyřech uzlech, všech 32 GPU se dostane do fáze all-reduce současně a poté všechny společně přejdou do dalšího průchodu forward. Zatížení není vyhlazený průměr – jedná se o obdélníkovou vlnu na frekvenci trénovacího kroku, pravděpodobně 0.5–5 Hz v závislosti na modelu.

Pokud jsou všechny čtyři servery ve stejné fázi, tato fáze vidí plnou obdélníkovou vlnu. Pokud jsou servery rozmístěny mezi fázemi, každá fáze stále vidí stejnou obdélníkovou vlnu, protože kroky jsou synchronní. Fázové vyrovnávání nevyhlazuje korelovanou zátěž. Pouze zplošťuje průměr na fázi.

Subcyklové přechodové jevy. Jedna grafická karta RTX 5090 má jmenovitý příkon 575 W, ale je schopna krátkodobých výkyvů až na 738 W během 5–10 ms, 824 W během 1–5 ms a 901 W ve špičkách pod 1 ms. Server K-AI s osmi grafickými procesory má tedy jmenovitý trvalý příkon kolem 4–4.5 kW a špičku v milisekundách, která může krátkodobě překročit 7 kW. Většinu tohoto příkonu absorbuje zdroj a elektroinstalace v budově – ale… proud Špičky jsou skutečné, nemají sinusový průběh a šíří se do nadřazené PDU.

Standardní termomagnetické jističe ignorují přechodové jevy v dílčích cyklech. Moderní hydraulické magnetické a elektronické jističe to ne vždy dělají; některé vypnou při okamžité špičce, nikoli při efektivní hodnotě (RMS). Pokud váš jistič během určitých fází tréninku neustále vypíná a stojan je jinak v rámci svého průměrného jmenovitého výkonu, díváte se na křivku přechodových jevů, nikoli na průměr.

Co fázové vyvažování dokáže a co nemůže

Proto se lidé, kteří přišli z tradičních datových center, někdy ocitnou v pasti: v jejich světě je vyvažování celým procesem. V racku s umělou inteligencí je to nezbytné, ale ne postačující.

Strategie vyvažování na úrovni prodejen

Praktická práce probíhá na úrovni zásuvek PDU. Třífázová 32A racková PDU o výšce 0U nabízí řadu zásuvek pro každou fázi. Typické uspořádání pro 30zásuvkovou PDU je: zásuvky 1–10 na L1, 11–20 na L2 a 21–30 na L3. Některé PDU používají pro lepší správu kabelů pruhované nebo střídavé uspořádání – zásuvky 1, 4, 7 na L1; 2, 5, 8 na L2; 3, 6, 9 na L3. Produkční PDU mají barevné kódování pro každou fázi.

Pravidlo je jednoduché a neustále se porušuje: přiřaďte servery tak, aby součet trvalého zatížení v každé fázi byl v rozmezí ~10 % od ostatníchPro identické jednotky se používá systém round-robin; pro smíšené zásilky systém bin-packing.

Příklad rozpracované práce, 3fázová PDU 32 A (jmenovitý výkon ~22 kW, trvalý výkon 17.6 kW při 80 %). Kolik osmi GPU serverů K-AI (trvalý výkon ~4 kW každý) se vejde?

Realistický rozpočet: jeden 32A třífázový napájecí zdroj do racku podporuje přibližně tři osmiGPU servery s umělou inteligencí, ne osm. Server se čtyřmi grafickými procesory s trvalým výkonem ~2 kW to zhruba zdvojnásobí na šest na okruh.

To zaskočí většinu plánovačů laboratoří. Papírový prostor pro obvod o výkonu 22 kW se vypaří, jakmile se zohlední charakteristiky jističů, přechodové špičky a 80% snížení výkonu při trvalém zatížení ve většině elektrotechnických předpisů.

Měření – PDU s měřením v zásuvce

Základní PDU vám nic nedává. Měřená PDU vám udává efektivní proud (RMS) na fázi na vstupu. s měřením odběru PDU vám udává proud na zásuvku, což je jednotka, kterou skutečně chcete.

Co sledovat:

• RMS proud na fázi, trend v čase. Většina PDU s měřením v zásuvkách využívá SNMP nebo REST API; skenování do Prometheusu, graf v Grafaně, alarm při 80 % jmenovitého výkonu.
• Špičkový proud na fázi v okně vzorkování. Pokud PDU vykazuje zadržení špičky, zaznamenejte ji; pokud ne, vzorkujte minimálně s frekvencí 1 Hz.
• Poměr fázové nerovnováhy — (max − min) / max napříč třemi fázemi. Pod 10 % je dobré. Nad 25 % znamená, že ponecháváte kapacitu na podlahe.
• Neutrální proud, pokud to hlásí PDU. Pokud je proud v nulovém vodiči při zatížení větší než ~30 % libovolného fázového proudu, je něco v nepořádku buď s vyvážením, nebo s obsahem harmonických.

Jednotka PDU 32 A je jeden kus zařízení. Dvě redundantní jednotky PDU 32 A (napájení A a B) zdvojnásobí množství dat, která je třeba sledovat, ale také zdvojnásobí toleranci selhání – pokud dojde k výpadku kteréhokoli z napájecích zdrojů, servery s duálními zdroji PDU zůstanou v provozu a přeživší jednotka PDU musí absorbovat veškerou energii. Velikost pro tento případ: stojan s duálním napájením by měl provozovat každou jednotku PDU na ~40 % nominálního výkonu, aby záložní přepnutí jednoho napájení zůstalo uvnitř jističe.

Harmonické a K-faktor

Každý zdroj pro AI server je spínaný zdroj, což je nelineární zátěž: odebírá proud v pulzech kolem vrcholu každé půlperiody, nikoli jako hladkou sinusovou vlnu. To vkládá zpět do napájení harmonické proudy, převážně 3., 5. a 7. harmonické v jednofázových systémech a 5., 7., 11. a 13. harmonické v třífázovém zapojení do hvězdy.

Třetí harmonická složka nejvíce ovlivňuje třífázové systémy: je to trojnásobek harmonické, což znamená, že proudy 3. harmonické ze všech tří fází dorazí do neutrálu ve fázi, a nikoliv s odstupem 120°. Sčítají se aritmeticky. Vyvážená lineární zátěž má téměř nulový proud v nulovém bodě. Vyvážená nelineární zátěž s významným obsahem 3. harmonické může mít proud v nulovém bodě blížící se fázovému proudu nebo jej překračující.

Proto existují transformátory s K-faktorem. K-1 je normální transformátor s lineární zátěží; K-13 je dimenzován na značný obsah harmonických; K-20 je to, co nyní specifikují seriózní datová centra umělé inteligence, protože klastry umělé inteligence představují v podstatě 100% nelineární zátěž bez motorů nebo ohřívačů, které by zředily obsah harmonických.

U laboratoře s jedním stojanem je to zřídkakdy váš problém – transformátor v budově je předřazený a je dimenzován na smíšenou zátěž. V případě vícestohové místnosti pro umělou inteligenci, která je přistavěna ke stávající budově, se zeptejte elektrikáře: jaký je K-hodnocení transformátoru předřazeného do laboratoře, má neutrální vodič alespoň stejný průřez jako fázové vodiče (větší je lepší) a je rozvaděč dimenzován na harmonické? Pokud jsou odpovědi „K-1, stejné jako fáze, generické“, je pro jeden stojan v pořádku, ale měli byste to před rozšířením na čtyři zopakovat.

Problém s upřímností poloprázdného regálu

Fázové vyvážení předpokládá, že máte dostatek zátěže k rozložení. Rack s jedním serverem a dvaceti prázdnými U nelze vyvážený – jeden server je na té fázi, ke které je připojen. Zbývající dvě fáze jsou nečinné, nulový vodič nese plný proud jednoho serveru a třífázové napájení 32 A má kapacitu asi 8 %, ale je 100% nevyvážené.

Tři upřímné možnosti:

1. Přijměte nerovnováhu. Je to jeden server. Panel to zvládne.
2. Přepněte na jednofázový režim. Jednofázové napájení 230 V s proudem 32 A má výkon ~7.3 kW – což je v pořádku pro jeden nebo dva servery se 4 GPU. Jednodušší, bez problémů s vyvažováním, bez problémů s trojnásobnou harmonickou složkou v nulovém bodě. Správné řešení pro malou laboratoř bez plánu růstu v příštích 12 měsících.
3. Plánujte dopředu, zařiďte si to dopředu. Pokud v příštím roce plánujete rozšířit síť na 6 nebo 8 serverů, nainstalujte třífázové napájení nyní a při přidávání serverů jej správně vyvažte. Rozdíl v nákladech oproti jednofázovému napájení je malý ve srovnání s jeho pozdější demontáží.

Návod k použití v reálných situacích

Realistická laboratoř střední velikosti: dva racky, 8× osmiGPU serverů K-AI v obou, plus síť, úložiště a testovací lavice Intel-Arc. Celkový trvalý příkon ~35.5 kW (32 kW pro flotilu K-AI, 2.5 kW pro testovací lavice Arc, 1 kW pro přepínače a úložiště).

Plán zapojení: rozdělte čtyři servery K-AI do racku, každý rack na třífázové napájení 63 A (jmenovitý výkon cca 43.5 kW, trvalý výkon 34.8 kW – pohodlné pro čtyři servery o výkonu 4 kW a příslušenství).

Přiřazení zásuvek Rack A:

Na fázi: L1 = 4.6 kW (20 A), L2 = 4.2 kW (18 A), L3 = 8 kW (35 A). Nevyvážené – dvě jednotky K-AI sdílejí L3. S pouhými čtyřmi servery na rack nelze dokonale vyvážit tři fáze; jedna fáze vždy odebírá více. 35 A na 63A napájení je 56 % jmenovitého proudu, jistič je uvnitř. Akceptujte to. Rack B zrcadlí rozložení pro zbývající čtyři servery K-AI a pracovní stůl Arc.

Redundance duálního napájení je řešena tak, že každý server je připojen k jednomu zdroji A-feed a jednomu zdroji B-feed na dvou fyzicky oddělených jednotkách PDU – viz W04, kde je uvedeno, jak to souvisí s rozděleným, neredundantním napájením na zdrojích PSU serverů s umělou inteligencí.

Monitoring: Obě jednotky PDU exportují proud na fázi a na zásuvku přes SNMP. Prometheus provádí seškrabávání dat každých 15 s, Grafana ukazuje 24hodinový trend, alarm se spustí, pokud kterákoli fáze překročí 80 % jmenovité hodnoty po dobu >5 minut nebo pokud poměr fázové nerovnováhy překročí 25 % po dobu >30 minut. Vyhlazování je důležité – spouštění a zastavování trénovacích úloh spouští krátkodobé nerovnováhy, které nelze řešit.

---

Toto je součást Kentino Wiki, referenční série o výpočetní technologii s využitím umělé inteligence, robotice a systémech, které je propojují. Komentáře a opravy jsou vítány na adrese info@kentino.com.