Spuštění GLM-5.3-Flash na CMP 170HX – průvodce dimenzováním
Sdílet

Přečtěte si toto před čísly. Každý údaj o počtu tokenů za sekundu, každé minimum RAM a každé „pasuje / nesedí“ na této stránce je vypočítán z šířky pásma paměti, nikoli změřen . Publikujeme to, protože aritmetika je užitečná pro výběr součástí a protože se zdá, že to nikdo jiný nezapsal. Nahradíme je skutečnými čísly, jakmile spustíme model – benchmark je plánován na 8kanálovém počítači s 512 GB a zatím se neuskutečnil. Počítejte s dolní hranicí každého rozsahu.
GLM-5.3-Flash běží na jedné nebo dvou odemčených kartách CMP 170HX 64 GB, když je zbytek modelu uložen v systémové paměti RAM. Se dvěma kartami a 128 GB RAM by měl běžet v dobré kvalitě; množství a rychlost systémové paměti určují, jak rychle bude reagovat. Od čtyř karet se kvalitní model vejde celý na karty a systémová RAM přestává být důležitá.
Co jsme vlastně změřili
Toto jsou naše odhady, z naší vlastní laboratoře a ze systému se čtyřmi kartami, který jsme uvedli do provozu v září 2026. Jsou základem, na kterém jsou odhady postaveny.
| Měřeno na našem hardwaru | Výsledek |
|---|---|
| Neomezená kapacita na kartu | 65 536 MiB (64 GB), potvrzeno na mnoha kartách |
| Špičková šířka pásma VRAM | 931–970 GB/s (memtest_vulkan; systém se čtyřmi kartami čte 931.3 / 944.2 / 947.3 / 970.0) |
| Stav PCIe linky s naší modifikací x16 | Gen2 ×16 |
| Trvalý odběr energie | 244–245 W udržováno po dobu 60 minut namáčení (limit desky 250 W) |
| ECC | Žádný. Vypnuto – karta neopravuje ani nehlásí chyby paměti |
Všechno pod touto čarou je modelování.
Jak to funguje

GLM-5.3-Flash je model se směsí expertů: celkem 320 miliard parametrů, ale pro každé slovo se používá pouze 18 miliard . Karta obsahuje části, které každé slovo potřebuje; zbytek zůstává v systémové paměti RAM a odtud se čte pouze několik expertů, které si každé slovo vybere.
Tyto počty parametrů a rozložení s 288 experty na vrstvu jsou Publikované údaje Z.ai, přečtěte si z modelové karty a její config.jsonNení na nás, abychom je ověřovali.
Vyberte si sestavení
Dvě karty se 128 GB RAM jsou ideální volbou: dobrá kvalita odpovědí při použitelné rychlosti. Další dvě jsou levnější variantou pro začátek a variantou s jednou kartou.
| Vytvořit | Karty | Systémová RAM | Kvalita modelu (soubor) | Odhadovaná rychlost |
|---|---|---|---|---|
| Doporučená | 2× 170HX | 128 GB | Dobré — UD-Q4_K_XL (200 GB) | 8–20 tokenů/s, nastaveno platformou RAM |
| Nejlevnější, co funguje | 2× 170HX | 64 GB | Použitelný, znatelně slabší — UD-Q2_K_XL (109 GB) | 40–55 žetonů/s (celý model se vejde na dvě karty) |
| Jedna karta | 1× 170HX | 192 GB, 8kanálová platforma | Dobré — UD-Q4_K_XL (200 GB) | cca 15 tokenů/s |
Jeden žeton je zhruba tři čtvrtiny slova. 10 žetonů/s se přečte zhruba stejně rychle jako člověk; 20+ se zdá být rychlé.
Kolik systémové RAM potřebujete

Potřebná RAM = část modelu, která se nevejde na karty + cca 16 GB pro operační systém. Jedna karta ponechává cca 46 GB paměti pro hmotnost modelu; dvě karty ponechávají cca 105 GB.
| Modelová kvalita | Velikost souboru | 1× 170HX: min. / doporučená RAM | 2× 170HX: min. / doporučená RAM |
|---|---|---|---|
| UD-Q2_K_XL — použitelný, znatelně slabší | 109 GB | 64 GB / 96 GB | 32 GB / 64 GB |
| UD-IQ3_XXS — lepší | 120 GB | 96 GB / 128 GB | 48 GB / 64 GB |
| UD-Q4_K_XL — dobré (doporučeno) | 200 GB | 160 GB / 192 GB | 96 GB / 128 GB |
| Q8_0 — blízko originálu | 341 GB | 320 GB / 384 GB | 256 GB / 256 GB |
Nejmenší verze (93 GB) se nevejde jen na jednu kartu, takže systém s jednou kartou vždy potřebuje velkou RAM. Velikosti souborů jsou velikosti GGUF publikované Unslothem , nikoli naše.
Očekávaná rychlost

Počet paměťových kanálů je důležitější než model CPU. Druhá karta pomáhá nejvíce na stolních platformách, protože uvolňuje větší část pomalé RAM.
Více karet: 3 až 6
Od tří karet se celý model vejde do paměti karty, takže systémová RAM již neomezuje rychlost.
| Karty | Paměťová karta | Největší model, který se vejde na karty | Kvalita | Systémová RAM | Rychlost, jeden uživatel (odhad) |
|---|---|---|---|---|---|
| 1 | 64 GB | žádné – dobrá kvalita vyžaduje odlehčení paměti RAM | dobré, s odlehčením | 192 GB, 8 kanálů | 14–17 žetonů/s |
| 2 | 128 GB | UD-Q2_K_XL (109 GB) | použitelný, slabší | 32 - 64 GB | 40–55 žetonů/s |
| 3 | 192 GB | UD-IQ4_XS (157 GB) | dobrý, mírně pod čtvrtým čtvrtletím | 64 GB | 30–40 žetonů/s |
| 4 | 256 GB | UD-Q4_K_XL (200 GB), zbývá ~30 GB pro dlouhý kontext | dobrý | 64 GB | 27–34 žetonů/s |
| 5 | 320 GB | UD-Q5_K_XL (240 GB) | velmi dobrá | 64 GB | 22–28 žetonů/s |
| 6 | 384 GB | UD-Q6_K_XL (292 GB) nebo oficiální verze FP8 (328 GB) | blízké originálu / originálu | 128 GB | 18–23 žetonů/s |
- Více karet kupuje kvalitu a prostor, ne rychlost na slovo. Karty fungují jedna po druhé a soubor s vyšší kvalitou čte pro každé slovo více dat, takže rychlost mírně klesá ze čtyř karet na šest.
- Čtyři karty jsou ideální volbou pro jednoho uživatele: dobrá kvalita, cca 30 tokenů/s, není potřeba platforma s rychlou RAM.
- Šest karet se hodí k týmu. Oficiální váhy FP8 odpovídají a server vLLM by mohl odpovídat několika uživatelům najednou. Prostor pro kontext je omezený, přibližně 37 GB, a podpora vLLM pro tento model je stále třeba ověřit.
- Co se změní oproti třem kartám: základní deska pracovní stanice nebo serveru s jedním slotem ×16 na kartu (EPYC nebo Threadripper; fungují i sloty ×8, jen se zpomalí načítání), napájecí zdroj s výkonem přibližně 250 W na kartu plus 300 W (přibližně 1.3 kW pro čtyři, 1.8–2 kW pro šest) a šasi s prouděním vzduchu pro každou kartu.
Tyto odhady předpokládají, že každá karta má pro danou hmotnost modelu přibližně 58 GB paměti a dosáhne u tohoto modelu přibližně 35 % ze svých 950 GB/s – což je typické pro podobné modely na kartách této generace, ale je to pouze předpoklad, nikoli výsledek.
Kontrolní seznam systému
Řádky, které se nejčastěji porouchají, jsou paměťové kanály, dekódování nad 4G a chlazení.

| Položka | 1× 170HX | 2× 170HX |
|---|---|---|
| Procesor (CPU) | 8+ jader s AVX2 (AVX-512 pomáhá); 16+ jader, pokud RAM pojme většinu modelu | stejný |
| Systémová RAM | viz tabulka RAM; 192 GB pro dobrou kvalitu | viz tabulka RAM; 128 GB pro dobrou kvalitu |
| Paměť kanálů | co nejvíce – 8kanálová platforma je zhruba 3× větší než stolní počítač | stejný |
| Základní desky | 1× slot PCIe ×16, Povoleno dekódování nad 4G (karta má k dispozici 64 GB) | 2× ×16 slotů s jedním volným slotem mezi nimi, povoleno dekódování nad 4G |
| PCIe propojení | Gen2 ×16 s modifikací ×16 je dostačující | stejné; model je rozdělen do vrstev, takže se mezi kartami přesouvá jen málo dat |
| napájení | 750 W (karta odebírá 250 W) | 1,000–1,200 W |
| Napájecí konektor | 1× 8pinový konektor typu CPU (EPS) na kartu; adaptér je součástí dodávky | 2 × |
| Chlazení | pasivní karta: na kartu je jeden ventilátor nebo dmychadlo požadováno | jeden na kartu; dva vedle sebe vyžadují dvojitý kanál |
| Skladování | NVMe, alespoň 1.5× velikost souboru modelu (dobrá kvalita: min. 512 GB, doporučeno 1 TB) | stejný |
| Operační systém | Linux | stejný |
| Řidič | Ovladač NVIDIA Open 610.43 + cmpunlocker 64 GB odemčený; přeinstalujte po každé aktualizaci jádra | stejný |
| Inferenční software | llama.cpp nebo ik_llama.cpp (rychlejší na straně CPU) | stejný |
Na PCIe lince: změřili jsme stav linky (Gen2 ×16). Neprováděli jsme na ní benchmarkovou analýzu přenosové propustnosti. Linka Gen2 ×16 dosahuje teoreticky maxima kolem 8 GB/s a skutečný provoz se po režii blíží 6–7 GB/s – tuto hodnotu berte jako odvozenou ze specifikace, nikoli jako naměřenou hodnotu.
Co čekat
- Dlouhé výzvy začínají pomalu. Čtení dlouhého dokumentu nebo rozsáhlé kódové základny trvá několik sekund až minut, než se objeví první slovo, s jednou kartou déle. Limitem je odkaz Gen2; rychlost odpovědi tím není ovlivněna.
- Verze s nižším počtem bitů ztrácejí kvalitu. UD-Q2_K_XL funguje, ale dělá více chyb než UD-Q4_K_XL. Pro kódování nebo uvažování zvolte 4bitovou verzi.
- Dlouhý kontext je levný. Většina vrstev si uchovává pevnou velikost, takže dlouhá konverzace vyžaduje jen málo volné paměti na kartě.
- Nový model, mladá softwarová podpora. GLM-5.3-Flash používá nový design pro upozornění. Soubor llama.cpp jej sice načte, ale jeho části mohou fungovat méně efektivně, než by mohly; s aktualizacemi se to zlepšuje.
- 64 GB pochází z opraveného ovladače. Po aktualizaci jádra se paměť karet vrátí na 8 GB, dokud se znovu nenainstaluje odemknutí.
- Bez ECC. Karta neopravuje ani nehlásí chyby paměti, proto používejte karty, které prošly úplným testem paměti. Naše karty se dodávají s ověřovací zprávou o paměti pro každou kartu, která obsahuje sériové číslo dané karty.
Odkud pocházejí čísla
| Tvrzení | Status |
|---|---|
| Celkem 320 miliard / 18 miliard aktivních, 288 expertů na vrstvu, 8 na token |
Z.aiho čísla — modelová karta a config.json
|
| Kvantizované velikosti souborů, 93–341 GB | Velikosti GGUF zveřejněné uživatelem unsloth |
| Všechny údaje o počtu tokenů/s, minimální RAM, kapacita 46 / 105 / 58 GB na kartu | Kentino odhad – modelovaný, neměřený |
| Využitelná šířka pásma RAM na platformu (35 / 60 / 110 / 300 GB/s) | Kentino odhad — typické hodnoty z reálného světa |
| 64 GB odemčeno, 931–970 GB/s, stav připojení Gen2 ×16, 244–245 W, bez ECC | Měřeno společností Kentino na našich vlastních kartách |
Zdroje: zai-org/GLM-5.3-Flash · unsloth/GLM-5.3-Flash-GGUF
uvedeno do provozu zde. Každý CMP 170HX, který prodáváme, je testován na plnou kapacitu paměti 64 GB a je dodáván se zprávou s vlastním sériovým číslem. Pokud chcete, aby tato sestava byla dimenzována tak, aby odpovídala vašemu skutečnému zatížení, napište nám.*