Tokeny za sekundu na euro: Ekonomika GPU pro inferenci

Většina kupujících se ptají špatně. Chtějí vědět, která GPU je „nejrychlejší“. Správná otázka pro inferenční úlohu produkce zní: „Která GPU vyprodukuje nejvíce tokenů na jedno euro utracené v příštích třech letech pro model, kterému skutečně sloužím.“ Tyto dvě otázky mají různé odpovědi a rozdíl je dostatečně velký, že důraz na hrubou rychlost běžně stojí zákazníky Kentina 30–60 % jejich rozpočtu.

Tento článek funguje na základě výpočtů. Cílovou skupinou je někdo, kdo určuje velikost inferenčního sestavení, četl W01 a N03a nyní se musí rozhodnout mezi RTX 5090, RTX Pro 6000 Blackwell, L40 nebo L4 – a kolik z nich.

Metrika: proč tok/s za euro, ne tok/s

Záleží na dvou výkonnostních režimech a jejich směšování je nejčastější chybou při dimenzování.

Jednoproudový tok/s je to, co vidí jeden uživatel, když čeká na jednu odpověď. Je to omezeno šířkou pásma při generování tokenů a téměř výhradně funkcí šířky pásma VRAM dělené hmotnostní stopou modelu (viz W01). Trvalá propustnost tok/s je to, co server vydává pro mnoho souběžných uživatelů s povoleným kontinuálním dávkováním. Na hardwaru třídy Blackwell je to vázáno na výpočetní kapacitu, jakmile počet dávek překročí 16. Na tom záleží produkčnímu prostředí.

Tyto dva výsledky se na stejné kartě liší 10–25×. Jednostreamová Llama 70B INT4 na RTX Pro 6000 Blackwell dosahuje přibližně 32 toků/s. Stejná karta v dávce 32 s kontinuálním dávkováním vLLM dosahuje souhrnně více než 600 toků/s. Vybírání poddimenzovaných jednostreamových nasazení s propustností řádově zvyšuje; vybírání naddimenzovaných nasazení citlivých na latenci. Matematika celkových nákladů na vlastnictví (TCO) zde využívá trvalou propustnost, protože ta je to, co dominuje.

Aktuální maloobchodní ceny v EU (květen 2026)

Níže uvedené ceny jsou maloobchodní ceny v EU bez DPH v otevřeném kanálu – nejedná se o objemové smlouvy OEM ani o pronájem cloudu. Zdroj: ceníky a seznam distributorů v EU v květnu 2026. Považujte je za rozpětí; čtvrtletní výkyvy 10–20 % jsou běžné.

Jen z této tabulky dvě pozorování. Pro 6000 Server Edition stojí zhruba 3× více než 5090 za 3× větší VRAM a ekvivalentní šířku pásma – cena se řídí kapacitou paměti, nikoli hrubou rychlostí. L4 je jediná karta zde s příkonem pod 100 W. Už jen tato skutečnost mění celkových nákladů na vlastnictví, jakmile do rovnice vstoupí elektřina.

Hodnoty benchmarků pro jeden GPU

Níže uvedená čísla pocházejí z veřejných benchmarků (vLLM, llama.cpp, SGLang) shromážděných ze Spheronu, CloudRiftu, RunPodu a z vlastních publikovaných běhů projektu vLLM od května 2025 do května 2026. Nejedná se o Kentinova benchmarková data – porovnali jsme je s našimi interními boxy 4×5090 a 4×Pro 6000 pro buňky, které pravidelně obsluhujeme; veřejná čísla se pohybují v rozmezí ±15 %.

Llama 3.3 70B FP8 — dekódování jednoho proudu

Llama 3.3 70B INT4 (AWQ) – dekódování jednoho proudu

Qwen 2.5 32B INT4 (AWQ) — jednoproudový

Llama 3 8B FP16 – jednoproudová a agregovaná

Pár poctivých výkladů z těchto tabulek. 5090 a Pro 6000 Blackwell mají identickou šířku pásma (1.79 TB/s) a identické dekódovací rychlosti na token. — rozdíly jsou v kapacitě VRAM a ECC, nikoli v rychlosti. L40 má zhruba poloviční rychlost v porovnání s dvojicí Blackwell, protože GDDR6 ECC je 860 GB/s oproti 1 790 GB/s. L4 je karta se čtvrtinovou šířkou pásma; vynahrazuje to hustotou a cenou.

Pro single-streamový provoz třídy 70B je Pro 6000 Blackwell jedinou kartou, která tento model provozuje na FP8 v jednom slotu. 5090 vás nutí používat INT4 a 2-way tensor paralelní – a TP=2 na PCIe ztrácí 30–35 % kvůli all-reduce (viz N03).

Škálování pro více GPU: daň z PCIe

Tenzorový paralelní provoz pouze s PCIe se neškáluje lineárně. Mechanismus jsme probrali v N03Zde jsou empirické multiplikátory, které byste měli dosadit do modelu celkových nákladů na vlastnictví (TCO).

Cesty paralelní s kanálem a datově paralelní se škálují téměř lineárně; tenzorově paralelní platí daň, která roste s počtem GPU. Pro model třídy 70B je správná konfigurace na 8× 5090 dvě nezávislé repliky (DP=2 × TP=4) nebo TP=4 × PP=2 – nikoli TP=8. Viz K03 pro konfigurační pravidla.

To je důležité z hlediska nákladů, protože zdvojnásobení počtu GPU nikdy nezdvojnásobí propustnost. Naivní rozpočtová projekce typu „dvakrát více GPU, dvakrát více tok/s“ nadsazuje sliby o 30–50 %.

Model tříletých celkových nákladů na vlastnictví (TCO)

Cena GPU je zhruba polovina skutečných nákladů na provoz inferenční karty po dobu tří let. Druhá polovina je elektřina, sdílení šasi a podlahová plocha. Níže uvedený model je to, co interně používáme pro dimenzování K-AI.

Per-GPU 3-year TCO =
    GPU cost
  + Chassis share (chassis + CPU + RAM + PSU + NIC) / GPU count
  + Electricity:  TDP × utilization × 8,760 h × 3 × €0.20/kWh
  + Colo/rack space share
  + Maintenance & spares (~5% of GPU cost / year)

Níže uvedené předpoklady:

• Elektřina: 0.20 €/kWh smíšená (typická průmyslová kolonie v EU nebo vlastněná DC). Český maloobchodní prodej je často 0.18 €–0.22 €; v Německu vyšší.
• Využití: 60% trvalé zatížení (realistické výrobní zatížení – nikoli referenční hodnota 100 %, ani laboratorní hodnota 5 %).
• PUE: 1.4. Režijní náklady datového centra (chlazení, distribuční ztráty). To zvyšuje efektivní spotřebu elektřiny na 0.28 €/kWh odběru GPU.
• Podíl podvozku: 4 000 EUR amortizovaných na 4 GPU (1 000 EUR/GPU) pro sestavení Kentino 5090 se 4 GPU; 8 000 EUR na 8 (1 000 EUR/GPU) pro šasi Pro 6000 s 8 GPU.
• Údržba: 5 %/rok nákladů na GPU (fond na rezervní kartu + čas ovladače/provozu).

Tabulka celkových nákladů na vlastnictví (TCO) pro jednotlivé GPU

Údaje o elektřině: TDP × 0.60 × 8 760 × 3 × 0.20 × 1.4 (PUE) / 1 000. Řada L4 je pozoruhodná – její trvalý tříletý účet za elektřinu je 318 EUR. Model 5090 je 2 540 EUR. Osmkrát větší spotřeba energie, osmkrát větší účet.

Cena za milion tokenů

Nyní zkombinujte TCO s naměřenou trvalou propustností na reprezentativním pracovním zatížení – Llama 3.3 70B INT4 v dávce 32, nebo Qwen 32B v dávce 32, nebo Llama 8B v dávce 64. Vezměte trvalý tok/s karty, vynásobte jej využitím 0.60 × 3 × 8 760 × 3 600, abyste získali celkový počet obsloužených tokenů, a vydělte TCO tímto počtem. Níže uvedená čísla jsou ilustrativní; vylaďte je pro váš skutečný model a dávku.

Třetí sloupec si představte jako náklady na milion obsloužených tokenů, při plném využití celkových nákladů na vlastnictví (TCO). API s otevřeným routerem a cloudem pro stejné modely účtují 0.10–2.00 EUR za milion tokenů v závislosti na úrovni; to řadí on-premise řešení na stejnou úroveň nebo i levnější při trvalém zatížení. Matematika se pod 30% využitím rozpadá – celkové náklady na vlastnictví jsou ovlivněny kapitálovými výdaji, za které jste zaplatili, ať už jste službu využívali, nebo ne.

Případ z roku 5090

Na papíře má 5090 nejlepší hrubý tok/s na euro ze všech karet v řadě Kentino pro inferenci pod 72B. 2 800 EUR za šířku pásma 1.79 TB/s a 32 GB GDDR7 je spousta karty. Pro jednoho uživatele s modelem třídy 32B není nic jiného ve stejném poměru.

5090 se rozpadá na dvou místech:

1. Modely, které se nevejdou do 32 GB v požadovaném množství. 70B FP8 (~75 GB) potřebuje 3–4 karty; 70B INT4 (~40 GB) potřebuje 2. Jakmile provedete tenzorové paralelní zapojení napříč PCIe, zaplatíte 30–50% daň „all-sleep“ a vaše tok/s-per-card se zhroutí.
2. Škálování více GPU nad rámec paralelního provozu pipeline. 8× 5090 je skutečný produkt (my ho vyrábíme), ale propustnost na kartu na tenzorově paralelním 70B je zhruba 0.55× oproti jedné kartě. Koupili jste osm karet a dostali jste 4.4× větší propustnost. Ne 8×.

Silnou stránkou modelu 5090 je možnost hostování několika replik menších modelů. 4× 5090 s čtyřmi nezávislými replikami Qwen 32B za load balancerem překonává 4× 5090 s tenzorově paralelním provozem a jedním Llama 70B jak v propustnosti, tak v latenci – a zcela se vyhýbá penalizaci PCIe.

Pouzdro Pro 6000 Blackwell

96 GB paměti ECC GDDR7 s přenosovou rychlostí 1.79 TB/s je to, co si koupíte, když se na jednu kartu potřebuje vejít 70B FP8 a nechcete se o tom hádat s PCIe. Edice Workstation a Server sdílejí stejný křemík, stejnou paměť, stejnou šířku pásma – rozdíl je ve tvarovém faktoru (aktivní vs. pasivní chlazení), BIOSu s maximálním výkonem a validaci pro OEM serverové šasi. Edice Server stojí o 700–1 500 EUR více a je tou správnou volbou pro jakoukoli rackovou sestavu, která běží 24 hodin denně, 7 dní v týdnu.

Kde Pro 6000 vítězí v poměru tok/s k euru:

• Hosting 70B FP8 s jednou kartou. Žádný tenzorový paralelní přenos, žádné zdanění PCIe. Jeden stream rychlostí 30+ tok/s, dávkový agregát rychlostí 480+ tok/s.
• Horizontální škálování pomocí replik. 4× Pro 6000 = čtyři nezávislé 70B repliky za routerem. Lineární škálování propustnosti, elegantní izolace selhání.
• ECC pro školení. Pokud pracovní zátěž zahrnuje doladění LoRA / QLoRA nebo úplné přeškolení, ECC si své udržení zaslouží (viz W01).

Kde je Pro 6000 přehnaná: jakékoli nasazení, které nepotřebuje >32 GB na kartu. Pokud se všechny vaše modely vejdou na 5090, platíte 3× více za VRAM, kterou nebudete používat. To se stává pravidelným problémem – kupující si vybere Pro 6000, protože je to „profesionální“ karta, a pak na ní pouští 13B model.

Případ L40

L40 se nachází v nepříjemné pozici. 48 GB ECC, GDDR6, ne GDDR7, šířka pásma 860 GB/s – zhruba polovina oproti Pro 6000 Blackwell při 75–90 % ceny. V čistém poměru tok/s na euro vítězí Pro 6000.

Pouzdro L40 je postaveno na třech dalších osách:

1. TDP. 300 W oproti 600 W. Polovina elektřiny za tři roky (1 325 EUR oproti 2 650 EUR v našem modelu). V tepelně omezených raccích nebo jednofázových obvodech je to rozdíl mezi čtyřmi nebo dvěma kartami.
2. Ověření datového centra. L40 je dodáván s pasivním chlazením, validací OEM u společností Supermicro/Dell/HPE a standardní 5letou zárukou pro datová centra. Pracovní stanice Pro 6000 není validována pro nepřetržitý provoz šasi; edice Server ano, ale je novější v distribučním kanálu.
3. Strop spolehlivosti. L40 je určen pro trvalé zatížení serveru. Průměrná doba mezi poruchami při nepřetržité inferenční zátěži je měřitelně lepší než u 5090 odvozeného od spotřebitele.

Upřímné čtení: pokud vašemu zákazníkovi záleží více na provozuschopnosti než na hrubých nákladech – regulovaná odvětví, smlouvy SLA na dobu neurčitou, cokoli, co přichází o peníze, když karta uprostřed noci vypadne – L40 si za ty náklady na euro stojí. Co se týče hrubého poměru ceny a výkonu, tak to neplatí.

Případ L4

L4 je ten, na který se nikdo neptá a který by si většina zákazníků měla koupit. 24 GB, 72 W, jeden slot, nevyžaduje napájecí konektor, pasivně chlazený. Osm kusů se vejde do 1U serveru. Šestnáct do 2U.

Co L4 dělá dobře:

• Model třídy 8B sloužící ve velkém měřítku. Llama 3 8B FP8 v dávce 64 dosahuje výkonu okolo 650 toků/s na kartu. Osm L4 v jednom šasi = celkem 5 000 toků/s pro koncový bod Llama 8B. Stejné šasi spotřebovává 600 W GPU.
• Hustota více replik. Každá L4 hostuje nezávislý 8B model. Osm replik za load balancerem bez jakékoli komunikace mezi GPU. Selhání jedné karty odebere 1/8 kapacity, nikoli celou službu.
• Lokality s omezeným výkonem. Obvod 16 A zvládne napájet dvanáct L4 plus režii hostitele. Stejný obvod sotva zvládne tři 5090.
• Cena za milion tokenů. S cenou 0.12 €/Mtok pro 8B FP8 je L4 levnější než jakékoli cloudové API pro stejnou modelovou třídu.

Co L4 dělá špatně: cokoli nad 13B, cokoli, co vyžaduje skutečnou šířku pásma, jakýkoli druh tréninku. L4 je inferenční karta s pevnou funkcí pro malé až střední modely. Pokud vaše pracovní zátěž neodpovídá tomu, přeskočte ji.

Upřímné srovnání vs. cloud

Cloudová matematika pro sestavení podobného typu. AWS p5.48xlarge (8× H100 SXM) se prodává za 98.32 USD/hodinu na vyžádání, normalizováno na 12.29 USD za hodinu GPU. Specializované cloudy s umělou inteligencí (Lambda, RunPod, CoreWeave) stojí 2.00–4.00 USD za hodinu H100 na vyžádání a méně při ročních závazcích.

Cena tříletého cloudového řešení na vyžádání pro jeden inferenční slot ekvivalentní H100:

• AWS na vyžádání: 12.29 USD × 8 760 × 3 = $323,000
• Spotová/sleva AI cloud: 2.50 $ × 8 760 × 3 = $65,700
• Rezervace cloudu s umělou inteligencí na 1 rok: ~1.80 USD × 8 760 × 3 = $47,300

Kentino on-premise 8× Pro 6000 Server Edition: Celkové náklady na vlastnictví ~115 000 EUR za tři roky pro osm karet. 14 400 EUR na kartu. To je zhruba čtvrtina nejlevnějšího cloudového H100 rezervována propustnost srovnatelnou s inferencí (Pro 6000 BW dosahuje ~60–70 % H100 SXM na inferenčních úlohách nezávislých na NVLink).

Bod zvratu versus rezervace H100 pro cloudovou AI: On-premise server 8× Pro 6000 se zaplatí při zhruba 50% využití po dobu tří let. Pod tím nájem. Nad tím vlastní. K tomuto výpočtu dospívá každý seriózní kupující on-premise nemovitostí, a proto on-premise inference v roce 2026 navzdory snižování cen cloudu stále existuje.

Matice doporučení pro pracovní zátěž a GPU

Upřímný pohled

Většina zákazníků Kentina se ptá, která karta je nejrychlejší. Vzhledem k pracovní zátěži, kterou většina z nich skutečně má – 7B nebo 8B chatovací model, možná 32B model pro uvažování, možná model pro vidění v třídě 7B–13B – je správná odpověď L4 nebo 5090, nikoli vlajková loď. Cenová prémie za Pro 6000 Blackwell je podle našich cen 5 000–7 000 EUR za kartu. Při čtyřech kartách na sestavení to znamená 20 000–28 000 EUR za VRAM, kterou zákazník platí a kterou nepoužívá.

Úkolem je zeptat se, které modely, v jaké souběžnosti, v jakém kontextovém okně – a podle toho dimenzovat. Menší zakázka, zákazník se vrací, když se daná zakázka škáluje.

---

Toto je součást Kentino Wiki, referenční série o výpočetní technologii s využitím umělé inteligence, robotice a systémech, které je propojují. Komentáře a opravy jsou vítány na adrese info@kentino.com.