Postavili jsme vám ve vlastní budově 576GB AI server s GLM 5.2

Kentino server s umělou inteligencí, který je součástí jeho lokální výroby, obsahuje šest grafických karet NVIDIA RTX PRO 6000 Blackwell Max-Q, dva procesory EPYC a dostatečnou redundanci, aby vydržel i při výpadku napájení – modely špičkové třídy tak běží přímo u vás, ne v cloudu někoho jiného.

Každý zná One Miners. A teď se seznamte s Kentinem.

Pokud jste se už nějakou dobu pohybovali po světě, znáte One Miners. Kentino je její sesterská společnost a Kentino vyrábí stroje: servery s umělou inteligencí, pracovní stanice, herní počítače – víceméně jakkoli vypadá specifikace, kterou si představíte.

Tento článek je o jedné z takových sestav. Je to systém, který jsme sestavili pro zákazníka, takže nejmenujeme, komu bude určen. Můžeme vám ale jen poodhalit detaily a ukázat vám, co přesně se stane součástí on-premise serveru s umělou inteligencí, když přestanete dělat kompromisy.

Prezentace: Umělá inteligence třídy Claude, která nikdy neopouští budovu

Celý smysl tohoto stroje je jednoduchý. Dostanete asistenta stejné třídy jako Claude Opus nebo GPT – a ten běží ve vašich prostorách. Ve vaší kanceláři, ve vašem úložišti, u vás doma, pokud tam pracujete. Každá výzva, každý dokument, každý řádek kódu, který do něj vložíte, zůstává ve vaší vlastní síti.

To je nabízená výhoda: žádný poplatek za token, který se škáluje podle toho, jak užitečná se věc stává, žádná fronta za ostatními tenanty a žádná třetí strana, která by držela vaše kontextové okno. Vlastníte hardware, takže vlastníte i pracovní zátěž.

Uvnitř: šest profesionálních grafických karet, každá s kapacitou 96 GB

Otevřete šasi a první věc, kterou uvidíte, je stěna s grafickými kartami – tři karty na jedné straně, další tři na druhé. Každá z nich je NVIDIA RTX PRO 6000 Blackwell Max-Q s 96 GB VRAM. Šest karet, zhruba 576 GB grafické paměti v jedné krabici.

Tato konfigurace je šestimístná, ale šasi není plné. Pojme až osm karet, což zbývá prostor pro pozdější přidání grafických karet nebo pro využití slotů pro něco úplně jiného, ​​například pro optické sítě. Za deskou grafických karet jsou umístěny dva procesory AMD EPYC 7643, které je napájejí.

Neokázalé části jsou ty, na kterých záleží

Takový stroj žije, nebo zemře, s nudnými specifikacemi. Paměť: 512 GB DDR4 instalované jako 8x 64GB LRDIMM, rozšiřitelná na 1.5 TB, když si to pracovní zátěž vyžádá. Úložiště: 2TB systémový disk plus 4 TB NVMe, protože hmotnost modelů se musí z disku rychle stáhnout.

Napájení zajišťuje pět redundantních zdrojů o výkonu 2000 W. Pokud jeden vyjmete během provozu, server běží dál – dá sice najevo svou nelibost, ale běží dál. Chlazení zajišťuje dvanáct vysokotlakých ventilátorů s otáčkami 15 000 ot./min, které lze vyměnit za provozu a jsou uspořádané v řadách po celé šasi. Můžete vytáhnout nefunkční ventilátor, když je stroj pod zátěží, nasadit nový, zavřít jej a odejít. Pár sekund na vás bude jen křičet. To je celý postup údržby.

Základní deska nabízí vyhrazenou funkci pro vzdálenou správu, duální 10gigabitovou LAN kartu, integrovaný VGA port pro připojení terminálu, USB 3.2 a primární i sekundární tlačítko napájení, takže pro její zapnutí a vypnutí nemusíte nic vyjímat z racku.

Lokální spuštění GLM 5.2

Hlavní pracovní zátěží je GLM 5.2 ve čtvrtém čtvrtletí – přibližně 341 GB modelových vah, rezidentních na šesti GPU. To je skutečně velký model a žije ve vaší budově. Běží zde i další otevřené modely; VRAM je více než dostatek pro udržení několika načtených modelů nebo pro přepínání mezi nimi.

Studený start není okamžitý a raději vám to řekneme, než abyste to museli objevovat. Mezi BIOSem, který vyjmenovává tolik hardwaru, Linuxem, který vyvolává velmi rozsáhlý strom zařízení, a následným streamováním 341 GB z SSD do VRAM, čekáte na první token řádově několik minut. Jakmile je systém zahřátý, neexistuje jednotné číslo propustnosti a kdokoli, kdo vám ho cituje, vynechává otázku. Záleží na třech věcech: kolik požadavků je ve běhu, zda je zapnuté spekulativní dekódování a zda se model vejde na jednu kartu.

Pro GLM 5.2 rozdělené na všech šest GPU: čisté dekódování s jednou souběžností bez spekulativního dekódování je zhruba 25–40 tokenů/s – to je aritmetika a je to číslo na naší veřejné stránce produktu. Zapněte spekulativní dekódování, stále jeden požadavek po druhém, a máte 40–60 tokenů. To je režim ve videu, a proto běh na kameře dosahuje přibližně 42 tokenů/s. Přidejte souběžnost ke spekulativnímu dekódování a stejný box dosáhne 60–120.

To všechno jsou čísla pro velké modely s 341 GB rozloženými na šesti kartách. Přejděte na model, který se vejde do jedné 96GB GPU, a dostanete se k tisícům tokenů za sekundu, protože spouštíte šest nezávislých instancí místo jedné rozdělené. Stejný hardware, jen o řád větší rozdíl – což je celý důvod, proč jedno hlavní číslo nemá smysl.

Kromě chatu a kódování je tentýž křemík i seriózním zařízením pro generování obrázků a zvládne i práci s videem. Praktický rozdíl oproti cloudovému endpointu není jen v rychlosti – je to i v tom, že před vámi ve frontě nikdo nestojí.

Proč Max-Q a kolik takový obchod ve skutečnosti stojí

Jeden detail, o kterém stojí za to být upřímný: jedná se o varianty RTX PRO 6000 s Max-Q. Max-Q má základní desku s výkonem 300 W. Karta bez Max-Q má 600 W, u kterého lze v ovladači omezit výkon na přibližně 400 W.

Max-Q vyměňuje trochu vyrovnávací paměti na čipu za mnohem nižší spotřebu energie. V šestikartovém šasi je tato výměna důvodem, proč tepelný a energetický rozpočet vůbec funguje. Je to typ rozhodnutí, které uděláte jednou, při sestavování, a pak s ním šťastně žijete – dokud jste věděli, že ho děláte.

Dále – a jak si ho pořídit

Během tohoto natáčení bylo na lavičce i pár dalších věcí, které k tomuto serveru nepatří. RTX 4090 a NVIDIA CMP 170HX – těžební karta z éry Etherea, která je na našem webu uvedena na 1 600 eur. Tato karta se v dalším videu dočká důkladné recenze a testování, takže ji zde nebudeme rozebírat jen zpola.

Také sestavujeme skutečnou srovnávací tabulku napříč několika otevřenými modely. Čísla, metodologie, žádné odklánění. To je také další bod.

Pokud chcete stroj jako je tento – nebo jeho menší verzi, pracovní stanici nebo herní sestavu – přesně tohle Kentino dělá. Prohlédněte si kolekci serverů s umělou inteligencí nebo nám sdělte, co potřebujete, a my vám to specifikujeme.