Modellkarten, GPU-Datenblätter und Serving-Benchmarks nennen alle Tokens pro Sekunde — und kaum jemand weiß, wie sich diese Zahlen im Bauch anfühlen. Vierzig ist gut. Vier ist unbenutzbar. Vierhundert ist von viertausend nicht zu unterscheiden. Bewegen Sie den Regler, und der Text erscheint in exakt der gewählten Rate — mit demselben Akkumulator wie ein echter Streaming-Client, ohne getürkte Schreibmaschinen-Animation.
Dieser Simulator braucht JavaScript. Der Text, den er ausgibt, besagt: Ein Token ist ein Fragment, kein Wort — deshalb lassen sich Generierungsraten und Lesegeschwindigkeit nicht eins zu eins umrechnen.
Das hervorgehobene Fragment ist der Token, der gerade ausgegeben wird. Wörter brechen absichtlich mitten im Wort — genau das tut ein Tokenizer, und deshalb sind „Tokens pro Sekunde" nicht „Wörter pro Sekunde".
Die roten Marken am Regler sind die beiden Raten, die wir am 2026-08-19 auf eigenen Maschinen gemessen haben. Die grauen sind Umrechnungen und publizierte Fremdangaben und als solche gekennzeichnet. Wir besitzen keinen Inferenz-ASIC zum Messen — also tun wir nicht so, als wäre die Zahl unsere.
Nach Medianen gewinnt das gehostete Modell: 57 zu 40. Diese Zahl kommt auf die Folie. Aber unser langsamster lokaler Lauf lag bei 39,5 Tokens pro Sekunde und unser langsamster Cloud-Lauf bei 6,6 — unter Sprechtempo, deutlich unter Lesetempo, also genau dort, wo Menschen aufgeben und neu laden. Eine Pipeline, die nachts unbeaufsichtigt läuft, wird nach ihrem schlechtesten Lauf dimensioniert, nicht nach ihrem Median — und planbar ist die Maschine ohne schlechtesten Fall.
Deshalb generieren die Pipelines hinter dieser Seite zuerst lokal und greifen nur dort zu einem gehosteten Modell, wo es sich nachweislich rechnet. Keine Ideologie — ein Elffach-Ausreißer, der um drei Uhr nachts zuschlägt, wenn niemand hinsieht.
→ Was dieselbe Maschine im Betrieb kostet → Inferenz nach Ihrem schlechtesten Fall dimensionieren → Wie der Rest läuft
Die KI-News, die zählen — bis 07:30 Uhr MEZ im Postfach. Kostenlos, kein Spam.