Spuštění GLM-5.3-Flash na CMP 170HX – průvodce dimenzováním

NVIDIA CMP 170HX 64 GB: pasivní karta plné délky se stříbrným kovovým krytem, ​​černým odvětrávaným koncovým držákem a zlatým konektorem PCIe edge – vyfoceno na našem stole

Přečtěte si toto před čísly. Každý údaj o počtu tokenů za sekundu, každé minimum RAM a každé „pasuje / nesedí“ na této stránce je vypočítán z šířky pásma paměti, nikoli změřen . Publikujeme to, protože aritmetika je užitečná pro výběr součástí a protože se zdá, že to nikdo jiný nezapsal. Nahradíme je skutečnými čísly, jakmile spustíme model – benchmark je plánován na 8kanálovém počítači s 512 GB a zatím se neuskutečnil. Počítejte s dolní hranicí každého rozsahu.

GLM-5.3-Flash běží na jedné nebo dvou odemčených kartách CMP 170HX 64 GB, když je zbytek modelu uložen v systémové paměti RAM. Se dvěma kartami a 128 GB RAM by měl běžet v dobré kvalitě; množství a rychlost systémové paměti určují, jak rychle bude reagovat. Od čtyř karet se kvalitní model vejde celý na karty a systémová RAM přestává být důležitá.

Co jsme vlastně změřili

Toto jsou naše odhady, z naší vlastní laboratoře a ze systému se čtyřmi kartami, který jsme uvedli do provozu v září 2026. Jsou základem, na kterém jsou odhady postaveny.

Měřeno na našem hardwaru Výsledek
Neomezená kapacita na kartu 65 536 MiB (64 GB), potvrzeno na mnoha kartách
Špičková šířka pásma VRAM 931–970 GB/s (memtest_vulkan; systém se čtyřmi kartami čte 931.3 / 944.2 / 947.3 / 970.0)
Stav PCIe linky s naší modifikací x16 Gen2 ×16
Trvalý odběr energie 244–245 W udržováno po dobu 60 minut namáčení (limit desky 250 W)
ECC Žádný. Vypnuto – karta neopravuje ani nehlásí chyby paměti

Všechno pod touto čarou je modelování.

Jak to funguje

Každé slovo využívá pouze 18 bitů z 320 bitů parametrů: karta obsahuje vždy používané vrstvy a to, co experti vejdou do paměti, systémová RAM obsahuje zbytek.

GLM-5.3-Flash je model se směsí expertů: celkem 320 miliard parametrů, ale pro každé slovo se používá pouze 18 miliard . Karta obsahuje části, které každé slovo potřebuje; zbytek zůstává v systémové paměti RAM a odtud se čte pouze několik expertů, které si každé slovo vybere.

Tyto počty parametrů a rozložení s 288 experty na vrstvu jsou Publikované údaje Z.ai, přečtěte si z modelové karty a její config.jsonNení na nás, abychom je ověřovali.

Vyberte si sestavení

Dvě karty se 128 GB RAM jsou ideální volbou: dobrá kvalita odpovědí při použitelné rychlosti. Další dvě jsou levnější variantou pro začátek a variantou s jednou kartou.

Vytvořit Karty Systémová RAM Kvalita modelu (soubor) Odhadovaná rychlost
Doporučená 2× 170HX 128 GB Dobré — UD-Q4_K_XL (200 GB) 8–20 tokenů/s, nastaveno platformou RAM
Nejlevnější, co funguje 2× 170HX 64 GB Použitelný, znatelně slabší — UD-Q2_K_XL (109 GB) 40–55 žetonů/s (celý model se vejde na dvě karty)
Jedna karta 1× 170HX 192 GB, 8kanálová platforma Dobré — UD-Q4_K_XL (200 GB) cca 15 tokenů/s

Jeden žeton je zhruba tři čtvrtiny slova. 10 žetonů/s se přečte zhruba stejně rychle jako člověk; 20+ se zdá být rychlé.

Kolik systémové RAM potřebujete

Malý, plně osvětlený blok vedle mnohem většího bloku, kde je osvětleno jen několik buněk – karta obsahuje vše, co každé slovo potřebuje, systémová RAM obsahuje zbytek

Potřebná RAM = část modelu, která se nevejde na karty + cca 16 GB pro operační systém. Jedna karta ponechává cca 46 GB paměti pro hmotnost modelu; dvě karty ponechávají cca 105 GB.

Modelová kvalita Velikost souboru 1× 170HX: min. / doporučená RAM 2× 170HX: min. / doporučená RAM
UD-Q2_K_XL — použitelný, znatelně slabší 109 GB 64 GB / 96 GB 32 GB / 64 GB
UD-IQ3_XXS — lepší 120 GB 96 GB / 128 GB 48 GB / 64 GB
UD-Q4_K_XL — dobré (doporučeno) 200 GB 160 GB / 192 GB 96 GB / 128 GB
Q8_0 — blízko originálu 341 GB 320 GB / 384 GB 256 GB / 256 GB

Nejmenší verze (93 GB) se nevejde jen na jednu kartu, takže systém s jednou kartou vždy potřebuje velkou RAM. Velikosti souborů jsou velikosti GGUF publikované Unslothem , nikoli naše.

Očekávaná rychlost

Odhadovaná rychlost odpovědi podle paměťové platformy: 8kanálová platforma je přibližně třikrát rychlejší než stolní počítač.

Počet paměťových kanálů je důležitější než model CPU. Druhá karta pomáhá nejvíce na stolních platformách, protože uvolňuje větší část pomalé RAM.

Více karet: 3 až 6

Od tří karet se celý model vejde do paměti karty, takže systémová RAM již neomezuje rychlost.

Karty Paměťová karta Největší model, který se vejde na karty Kvalita Systémová RAM Rychlost, jeden uživatel (odhad)
1 64 GB žádné – dobrá kvalita vyžaduje odlehčení paměti RAM dobré, s odlehčením 192 GB, 8 kanálů 14–17 žetonů/s
2 128 GB UD-Q2_K_XL (109 GB) použitelný, slabší 32 - 64 GB 40–55 žetonů/s
3 192 GB UD-IQ4_XS (157 GB) dobrý, mírně pod čtvrtým čtvrtletím 64 GB 30–40 žetonů/s
4 256 GB UD-Q4_K_XL (200 GB), zbývá ~30 GB pro dlouhý kontext dobrý 64 GB 27–34 žetonů/s
5 320 GB UD-Q5_K_XL (240 GB) velmi dobrá 64 GB 22–28 žetonů/s
6 384 GB UD-Q6_K_XL (292 GB) nebo oficiální verze FP8 (328 GB) blízké originálu / originálu 128 GB 18–23 žetonů/s
  • Více karet kupuje kvalitu a prostor, ne rychlost na slovo. Karty fungují jedna po druhé a soubor s vyšší kvalitou čte pro každé slovo více dat, takže rychlost mírně klesá ze čtyř karet na šest.
  • Čtyři karty jsou ideální volbou pro jednoho uživatele: dobrá kvalita, cca 30 tokenů/s, není potřeba platforma s rychlou RAM.
  • Šest karet se hodí k týmu. Oficiální váhy FP8 odpovídají a server vLLM by mohl odpovídat několika uživatelům najednou. Prostor pro kontext je omezený, přibližně 37 GB, a podpora vLLM pro tento model je stále třeba ověřit.
  • Co se změní oproti třem kartám: základní deska pracovní stanice nebo serveru s jedním slotem ×16 na kartu (EPYC nebo Threadripper; fungují i ​​sloty ×8, jen se zpomalí načítání), napájecí zdroj s výkonem přibližně 250 W na kartu plus 300 W (přibližně 1.3 kW pro čtyři, 1.8–2 kW pro šest) a šasi s prouděním vzduchu pro každou kartu.

Tyto odhady předpokládají, že každá karta má pro danou hmotnost modelu přibližně 58 GB paměti a dosáhne u tohoto modelu přibližně 35 % ze svých 950 GB/s – což je typické pro podobné modely na kartách této generace, ale je to pouze předpoklad, nikoli výsledek.

Kontrolní seznam systému

Řádky, které se nejčastěji porouchají, jsou paměťové kanály, dekódování nad 4G a chlazení.

Dvě ploché pasivní karty ve věži s plechovým potrubím, které vede vzduch od tří ventilátorů skříně přímo skrz jejich chladiče
Položka 1× 170HX 2× 170HX
Procesor (CPU) 8+ jader s AVX2 (AVX-512 pomáhá); 16+ jader, pokud RAM pojme většinu modelu stejný
Systémová RAM viz tabulka RAM; 192 GB pro dobrou kvalitu viz tabulka RAM; 128 GB pro dobrou kvalitu
Paměť kanálů co nejvíce – 8kanálová platforma je zhruba 3× větší než stolní počítač stejný
Základní desky 1× slot PCIe ×16, Povoleno dekódování nad 4G (karta má k dispozici 64 GB) 2× ×16 slotů s jedním volným slotem mezi nimi, povoleno dekódování nad 4G
PCIe propojení Gen2 ×16 s modifikací ×16 je dostačující stejné; model je rozdělen do vrstev, takže se mezi kartami přesouvá jen málo dat
napájení 750 W (karta odebírá 250 W) 1,000–1,200 W
Napájecí konektor 1× 8pinový konektor typu CPU (EPS) na kartu; adaptér je součástí dodávky 2 ×
Chlazení pasivní karta: na kartu je jeden ventilátor nebo dmychadlo požadováno jeden na kartu; dva vedle sebe vyžadují dvojitý kanál
Skladování NVMe, alespoň 1.5× velikost souboru modelu (dobrá kvalita: min. 512 GB, doporučeno 1 TB) stejný
Operační systém Linux stejný
Řidič Ovladač NVIDIA Open 610.43 + cmpunlocker 64 GB odemčený; přeinstalujte po každé aktualizaci jádra stejný
Inferenční software llama.cpp nebo ik_llama.cpp (rychlejší na straně CPU) stejný

Na PCIe lince: změřili jsme stav linky (Gen2 ×16). Neprováděli jsme na ní benchmarkovou analýzu přenosové propustnosti. Linka Gen2 ×16 dosahuje teoreticky maxima kolem 8 GB/s a skutečný provoz se po režii blíží 6–7 GB/s – tuto hodnotu berte jako odvozenou ze specifikace, nikoli jako naměřenou hodnotu.

Co čekat

  • Dlouhé výzvy začínají pomalu. Čtení dlouhého dokumentu nebo rozsáhlé kódové základny trvá několik sekund až minut, než se objeví první slovo, s jednou kartou déle. Limitem je odkaz Gen2; rychlost odpovědi tím není ovlivněna.
  • Verze s nižším počtem bitů ztrácejí kvalitu. UD-Q2_K_XL funguje, ale dělá více chyb než UD-Q4_K_XL. Pro kódování nebo uvažování zvolte 4bitovou verzi.
  • Dlouhý kontext je levný. Většina vrstev si uchovává pevnou velikost, takže dlouhá konverzace vyžaduje jen málo volné paměti na kartě.
  • Nový model, mladá softwarová podpora. GLM-5.3-Flash používá nový design pro upozornění. Soubor llama.cpp jej sice načte, ale jeho části mohou fungovat méně efektivně, než by mohly; s aktualizacemi se to zlepšuje.
  • 64 GB pochází z opraveného ovladače. Po aktualizaci jádra se paměť karet vrátí na 8 GB, dokud se znovu nenainstaluje odemknutí.
  • Bez ECC. Karta neopravuje ani nehlásí chyby paměti, proto používejte karty, které prošly úplným testem paměti. Naše karty se dodávají s ověřovací zprávou o paměti pro každou kartu, která obsahuje sériové číslo dané karty.

Odkud pocházejí čísla

Tvrzení Status
Celkem 320 miliard / 18 miliard aktivních, 288 expertů na vrstvu, 8 na token Z.aiho čísla — modelová karta a config.json
Kvantizované velikosti souborů, 93–341 GB Velikosti GGUF zveřejněné uživatelem unsloth
Všechny údaje o počtu tokenů/s, minimální RAM, kapacita 46 / 105 / 58 GB na kartu Kentino odhad – modelovaný, neměřený
Využitelná šířka pásma RAM na platformu (35 / 60 / 110 / 300 GB/s) Kentino odhad — typické hodnoty z reálného světa
64 GB odemčeno, 931–970 GB/s, stav připojení Gen2 ×16, 244–245 W, bez ECC Měřeno společností Kentino na našich vlastních kartách

Zdroje: zai-org/GLM-5.3-Flash · unsloth/GLM-5.3-Flash-GGUF


uvedeno do provozu zde. Každý CMP 170HX, který prodáváme, je testován na plnou kapacitu paměti 64 GB a je dodáván se zprávou s vlastním sériovým číslem. Pokud chcete, aby tato sestava byla dimenzována tak, aby odpovídala vašemu skutečnému zatížení, napište nám.*

Zpět na blog