TCO-Rechnung
Was es wirklich kostet.
Erst messen. Dann kaufen. Keine Schönwetter-Zahlen.
TCO analysis
What it really costs.
Measure first. Then buy. No fair-weather numbers.
Alle Zahlen mit Quelle: gemessen, User oder rechnerisch.
Every figure with its source: measured, community or computed.
Daniel Schneider · Technical Product & Platform Lead / Interim Technical PO · Frankfurt (Oder)
Was ein Fehlkauf kostet.
Der Praxisfall steht stellvertretend für die häufigste Fehlentscheidung beim Kartenkauf.
Der Praxisfall
Eine 32-GB-Karte gekauft, weil mehr VRAM besser klingt. In Wahrheit: 40 bis 55 % langsamer im Decode und 43 bis 75 % langsamer im Prefill als eine 24-GB-Karte mit besserem Bus.
A 32 GB card bought because more VRAM sounds better. In truth: 40 to 55 % slower in decode and 43 to 75 % slower in prefill than a 24 GB card with a better memory bus.
Der Grund
Speichergröße ist nicht Speicherbandbreite. Ein Modell, das pro Token den halben Speicher lesen muss, ist auf einer langsamen Anbindung doppelt so langsam — egal wie groß der Chipspeicher ist.
Mehr VRAM ist nicht mehr Leistung.
Die Methode
Jede Zahl trägt ihr Label. Sonst ist es Marketing, keine Rechnung.
gemessen
llama-bench und Telemetrie am laufenden System. Beispiel: B70 bei 27B Q4_K_M, Single-Stream — pp512 = 718 tok/s, tg128 = 20,4 tok/s, 178 W.
User
Community-Werte und Praxisberichte. Gekennzeichnet, wo sie herkommen — und wofür sie gelten.
rechnerisch
Aus der Formel, nicht aus dem Datenblatt. Der theoretische Wert ist ein Limit, kein Versprechen.
Die Formeln
Decode: tg = Bandbreite ÷ Bytes pro Token — 27B Q4 = 15 GB pro Token, FP8 = 28 GB pro Token
Prefill: pp = FLOPS ÷ (2 × Parameter) = FLOPS ÷ 54 GFLOP
Strom: Strom = TDP × Laufzeit × 0,35 €/kWh — Idle-Mix beachten
Amortisation: Amort = Preis ÷ (Jahre × Nutzung) − Restwert
Break-even: Break-even (Monate) = Anschaffung ÷ (Cloud-Kosten pro Jahr − Lokal-Kosten pro Jahr) ÷ 12
Decode: tg = bandwidth ÷ bytes per token · Prefill: pp = FLOPS ÷ (2 × parameters) · Power: power = TDP × runtime × €0.35/kWh · Break-even: months = purchase ÷ (cloud cost per year − local cost per year) ÷ 12
Rechenbeispiel 1 — Theorie gegen Messung
Intel Arc Pro B70 · 32 GB GDDR6 ECC · 608 GB/s · 230 W TDP · llama-bench, 27B Q4_K_M, Single-Stream
Theoretisches Limit gegen gemessene Zahl
| Größe | rechnerisch | gemessen | Effizienz |
|---|---|---|---|
| tg Q4 | 608 GB/s ÷ 15 GB pro Token = 40,5 tok/s |
20,4 tok/s | 50 % |
| pp | 45,88 TFLOPS ÷ 54 GFLOP = 850 tok/s |
718 tok/s | 84 % |
Wer nur mit Peak-Werten rechnet, rechnet doppelt so gut wie die Karte.
Decode efficiency on this card: 50 %. Prefill efficiency: 84 %. Who calculates with peak values calculates twice as well as the card performs.
Rechenbeispiel 2 — Preis pro GB gegen Leistung pro GB
Marktpreise 10/2026 · Head-to-Head DiggTop, Stand 12.10.2026
Intel Arc Pro B70 gegen NVIDIA RTX 3090 (Referenz)
| Größe | Intel Arc Pro B70 | NVIDIA RTX 3090 |
|---|---|---|
| VRAM | 32 GB GDDR6 ECC | 24 GB GDDR6X |
| Bandbreite | 608 GB/s | 936 GB/s |
| TDP | 230 W | Referenzklasse, gebraucht |
| Preis | 950 $ (10/2026) | gebraucht ≈ 1.300 $ |
| pro GB | ≈ 30 $/GB | ≈ 54 $/GB |
| tg gemessen | 20,4 tok/s | klar vorn — B70 liegt −40 bis −55 % darunter |
| pp im Vergleich | B70 liegt −43 bis −75 % darunter | Referenz |
| Head-to-Head | 0:4 | 4:0 |
Der GB-Preis ist verlockend. Die Rechnung geht erst mit Bandbreite auf.
Rein pro GB ist die B70 günstiger — das rechne ich Ihnen nicht schön.
Per GB the B70 is cheaper — I will not gloss that over. But the math only works out with bandwidth: the card lost the head-to-head 0:4 and sits 40 to 55 % behind in decode.
Rechenbeispiel 3 — Lokal gegen Cloud
Der Workload steht fest. Das Ergebnis hängt an Ihren Zahlen.
Der Workload
100 Mio. Tokens · 98 % Input · 2 % Output
Cache-Hit 60 % (Industrie-Real) bzw. 95 % (Agent-Loop)
Lokal = Strom + Amortisation · Cloud = Token-Preise pro Million
Die drei Szenarien
Cache-Hit 20 % — pessimistisch. Fast alles liest der Server neu.
Cache-Hit 60 % — real. Industrie-Real für produktive Last.
Cache-Hit 95 % — Agent-Loop. Wiederholte Schleifen mit stabilem Kontext.
Der Rechenweg
Schritt A — Jahreslast: 100 Mio. Tokens auf Input und Output aufteilen, Cache-Hit-Szenario wählen, effektive Neuverarbeitung bestimmen.
Schritt B — Lokal: Strom aus TDP und Laufzeit bei 0,35 €/kWh, dazu Amortisation der Karte über die Nutzungsdauer.
Schritt C — Cloud: Token-Preise pro Million auf die effektive Last ansetzen — Input, Output und Cache getrennt.
Schritt D — Break-even: Anschaffung geteilt durch die Differenz der Jahreskosten, geteilt durch 12 — ergibt die Monate bis zur Amortisation.
Der Break-even hängt an drei Zahlen: Ihre Token-Menge, Ihr Cache-Hit und Ihr Strompreis. Das rechne ich mit Ihren Zahlen.
Rechenbeispiele zeigen typische Szenarien — keine Referenzkunden.
The break-even hangs on three figures: your token volume, your cache hit rate and your power price. I compute it with your numbers. Example calculations show typical scenarios — no reference customers.
Wann welche Karte
Das Profil entscheidet den Kauf — nicht das Datenblatt.
Agent-Loop / Coding
Hohe tg, viel Kontext — Bandbreite vor VRAM. Eine Karte mit schnellem Bus schlägt hier jede Speichergröße.
Batch / Klassifikation
Hohe pp — Compute und VRAM zählen. Prefill ist der Taktgeber, nicht der Token-Ausstoß.
Privacy-Betrieb
Daten bleiben im Haus — lokal. Und die Frage vorab: ist es wirklich nötig? Wenn nicht, spare ich Ihnen die Karte.
KMU, 8 h/Tag
Mittlere Last — Preis/Leistung und Amortisation entscheiden. Rechnen statt wünschen.
Audio / TTS / RAG
Kleine Modelle — fast jede Karte reicht. Hier lohnt der Aufpreis für Größe selten.
Agent-Loop / Coding: bandwidth before VRAM · Batch / classification: compute plus VRAM · Privacy operation: local, and the honest question whether it is needed at all · SME at 8 h/day: price-performance and amortisation · Audio / TTS / RAG: small models, almost any card.
Was ich anbiete
Der Rahmen steht. Der Umfang entsteht nach dem Gespräch.
90 Min., Ihre Zahlen, 1 Seite Ergebnis. Auch wenn die Empfehlung lautet: bleiben Sie wo Sie sind.
ab 250 €
Ein System das läuft, dokumentiert ist und Ihnen gehört.
ab 990 €
Nicht Theorie — Praxis am Gerät. Ihr Team macht es danach ohne mich.
ab 1.600 €/Tag
250 € kaufen keine Stunden. Sie kaufen eine Entscheidung, die Sie sonst im Ungewissen treffen.
TCO-Check · from €250 · 90 minutes, your figures, a one-page result. Local AI Systems · from €990 · A system that runs, is documented and belongs to you. Workshop · from €1,600/day · Not theory — practice on the hardware.
Was ich nicht anbiete: 99,x%-SLAs, Zertifizierungsgarantien, 40 Leute im Rücken. Was ich habe: Systeme die hier laufen — und die Protokolle dazu.
Und wenn Ihr Use Case keinen Server braucht, sage ich Ihnen das.
What I don’t offer: 99.x% SLAs, certification guarantees, 40 people behind me. What I have: systems that run here — and the protocols to prove it. And if your use case does not need a server, I will tell you so.
Datenhoheit ist ein Angebot, kein Dogma.
Data sovereignty is an option, not a dogma.
TCO analysis · What it really costs. Measure first. Then buy. No fair-weather numbers.
Every figure with its source: measured, community or computed. Measured example: Intel Arc Pro B70, 27B Q4_K_M, single-stream — 718 tok/s prefill, 20.4 tok/s decode at 178 W. Theory says 40.5 tok/s decode and 850 tok/s prefill — that is 50 % and 84 % efficiency. Peak values are a limit, not a promise.
Price per GB is seductive. Per GB the B70 is cheaper — I will not gloss that over. The calculation only works out with bandwidth: head-to-head 0:4, 40 to 55 % behind in decode, 43 to 75 % behind in prefill. More VRAM is not more performance.
Local versus cloud: 100 million tokens, 98 % input, 2 % output, cache-hit 20 % / 60 % / 95 %. The break-even hangs on three figures: your token volume, your cache hit rate and your power price. I compute it with your numbers. Example calculations show typical scenarios — no reference customers.
TCO-Check · from €250 · 90 minutes, your figures, a one-page result. Local AI Systems · from €990 · A system that runs, is documented and belongs to you. Workshop · from €1,600/day · Not theory — practice on the hardware.
What I don’t offer: 99.x% SLAs, certification guarantees, 40 people behind me. What I have: systems that run here — and the protocols to prove it. And if your use case does not need a server, I will tell you so.
Data sovereignty is an option, not a dogma.
90 minutes for you · Book a meeting · Let’s do the math. 90 minutes. Not a sales call. €250 doesn’t buy hours. It buys a decision you would otherwise make blind.
Lassen Sie uns rechnen.
90 Minuten. Kein Verkaufsgespräch. Ich rechne Ihren Fall durch — und sage Ihnen ob es sich rechnet.
Let’s do the math. 90 minutes. Not a sales call. I work through your case — and tell you whether it pays off.
250 € kaufen keine Stunden. Sie kaufen eine Entscheidung, die Sie sonst im Ungewissen treffen.
Daniel Schneider · Technical Product & Platform Lead / Interim Technical PO
+49 174 3335917
schneiderd1989@gmail.com
Lindenstraße 32 · 15230 Frankfurt (Oder)